提交 95747690 编写于 作者: 取昵称好难啊's avatar 取昵称好难啊

Fix markdown syntax

上级 93f0f917
......@@ -245,7 +245,7 @@ JavaSerializer | 用于序列化将通过网络发送或需要以序列化形式
| --- | --- | --- |
| `spark.broadcast.blockSize` | 4m | `TorrentBroadcastFactory` 的一个块的每个分片大小。过大的值会降低广播期间的并行性(更慢了); 但是,如果它过小,`BlockManager` 可能会受到性能影响。 |
| `spark.executor.cores` | 在 YARN 模式下默认为 1,standlone 和 Mesos 粗粒度模型中的 worker 节点的所有可用的 core。 | 在每个 executor(执行器)上使用的 core 数。在 standlone 和 Mesos 的粗粒度模式下,设置此参数允许应用在相同的 worker 上运行多个 executor(执行器),只要该 worker 上有足够的 core。否则,每个 application(应用)在单个 worker 上只会启动一个 executor(执行器)。 |
| `spark.default.parallelism` | 对于分布式混洗(shuffle)操作,如 `reduceByKey``join`,父 RDD 中分区的最大数量。对于没有父 RDD 的 `parallelize` 操作,它取决于集群管理器:<br>* 本地模式:本地机器上的 core 数<br>* Mesos 细粒度模式:8<br>* 其他:所有执行器节点上的 core 总数或者 2,以较大者为准 | 如果用户没有指定参数值,则这个属性是 `join``reduceByKey`,和 `parallelize` 等转换返回的 RDD 中的默认分区数。 |
| `spark.default.parallelism` | 对于分布式混洗(shuffle)操作,如 `reduceByKey``join`,父 RDD 中分区的最大数量。对于没有父 RDD 的 `parallelize` 操作,它取决于集群管理器:<br><li>本地模式:本地机器上的 core 数<br><li>Mesos 细粒度模式:8<br><li>其他:所有执行器节点上的 core 总数或者 2,以较大者为准 | 如果用户没有指定参数值,则这个属性是 `join``reduceByKey`,和 `parallelize` 等转换返回的 RDD 中的默认分区数。 |
| `spark.executor.heartbeatInterval` | 10s | 每个执行器的心跳与驱动程序之间的间隔。心跳让驱动程序知道执行器仍然存活,并用正在进行的任务的指标更新它 |
| `spark.files.fetchTimeout` | 60s | 获取文件的通讯超时,所获取的文件是从驱动程序通过 SparkContext.addFile() 添加的。 |
| `spark.files.useFetchCache` | true | 如果设置为 true(默认),文件提取将使用由属于同一应用程序的执行器共享的本地缓存,这可以提高在同一主机上运行许多执行器时的任务启动性能。如果设置为 false,这些缓存优化将被禁用,所有执行器将获取它们自己的文件副本。如果使用驻留在 NFS 文件系统上的 Spark 本地目录,可以禁用此优化(有关详细信息,请参阅 [SPARK-6313](https://issues.apache.org/jira/browse/SPARK-6313) )。 |
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册