Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
OpenDocCN
spark-doc-zh
提交
95747690
S
spark-doc-zh
项目概览
OpenDocCN
/
spark-doc-zh
10 个月 前同步成功
通知
35
Star
1189
Fork
345
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
S
spark-doc-zh
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
前往新版Gitcode,体验更适合开发者的 AI 搜索 >>
提交
95747690
编写于
4月 07, 2019
作者:
取昵称好难啊
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Fix markdown syntax
上级
93f0f917
变更
1
隐藏空白更改
内联
并排
Showing
1 changed file
with
1 addition
and
1 deletion
+1
-1
docs/20.md
docs/20.md
+1
-1
未找到文件。
docs/20.md
浏览文件 @
95747690
...
...
@@ -245,7 +245,7 @@ JavaSerializer | 用于序列化将通过网络发送或需要以序列化形式
| --- | --- | --- |
|
`spark.broadcast.blockSize`
| 4m |
`TorrentBroadcastFactory`
的一个块的每个分片大小。过大的值会降低广播期间的并行性(更慢了); 但是,如果它过小,
`BlockManager`
可能会受到性能影响。 |
|
`spark.executor.cores`
| 在 YARN 模式下默认为 1,standlone 和 Mesos 粗粒度模型中的 worker 节点的所有可用的 core。 | 在每个 executor(执行器)上使用的 core 数。在 standlone 和 Mesos 的粗粒度模式下,设置此参数允许应用在相同的 worker 上运行多个 executor(执行器),只要该 worker 上有足够的 core。否则,每个 application(应用)在单个 worker 上只会启动一个 executor(执行器)。 |
|
`spark.default.parallelism`
| 对于分布式混洗(shuffle)操作,如
`reduceByKey`
和
`join`
,父 RDD 中分区的最大数量。对于没有父 RDD 的
`parallelize`
操作,它取决于集群管理器:
<br>
* 本地模式:本地机器上的 core 数<br>*
Mesos 细粒度模式:8
<br>
*
其他:所有执行器节点上的 core 总数或者 2,以较大者为准 | 如果用户没有指定参数值,则这个属性是
`join`
,
`reduceByKey`
,和
`parallelize`
等转换返回的 RDD 中的默认分区数。 |
|
`spark.default.parallelism`
| 对于分布式混洗(shuffle)操作,如
`reduceByKey`
和
`join`
,父 RDD 中分区的最大数量。对于没有父 RDD 的
`parallelize`
操作,它取决于集群管理器:
<br>
<li>
本地模式:本地机器上的 core 数
<br><li>
Mesos 细粒度模式:8
<br><li>
其他:所有执行器节点上的 core 总数或者 2,以较大者为准 | 如果用户没有指定参数值,则这个属性是
`join`
,
`reduceByKey`
,和
`parallelize`
等转换返回的 RDD 中的默认分区数。 |
|
`spark.executor.heartbeatInterval`
| 10s | 每个执行器的心跳与驱动程序之间的间隔。心跳让驱动程序知道执行器仍然存活,并用正在进行的任务的指标更新它 |
|
`spark.files.fetchTimeout`
| 60s | 获取文件的通讯超时,所获取的文件是从驱动程序通过 SparkContext.addFile() 添加的。 |
|
`spark.files.useFetchCache`
| true | 如果设置为 true(默认),文件提取将使用由属于同一应用程序的执行器共享的本地缓存,这可以提高在同一主机上运行许多执行器时的任务启动性能。如果设置为 false,这些缓存优化将被禁用,所有执行器将获取它们自己的文件副本。如果使用驻留在 NFS 文件系统上的 Spark 本地目录,可以禁用此优化(有关详细信息,请参阅
[
SPARK-6313
](
https://issues.apache.org/jira/browse/SPARK-6313
)
)。 |
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录