CDH Spark 程序调优 spark.yarn.executor.memoryOverhead 该如何配置呢?

问答 歌唱祖国 ⋅ 于 2018-10-10 01:48:33 ⋅ 最后回复由 青牛 2018-10-10 17:32:40 ⋅ 7936 阅读

老师好,我遇到一个问题如图所示
file
1.CDH Spark程序调优spark.yarn.executor.memoryOverhead该如何配置呢?主要是参考什么参数的值?
2.yarn.nodemanager.resource.memory-mb,spark.executor.memory,spark.yarn.executor.memoryOverhead这三个参数之间的关系是怎样的呢?该按照怎样的方式来配置?
3.spark.yarn.executor.memoryOverhead如果在export中使用后再运行submit命令是不是如下

#export SPARK_YARN_EXECUTOR_MEMORYOVERHEAD=3G
#spark-submit  --xxxxx .....

不知道用SPARK_YARN_EXECUTOR_MEMORYOVERHEAD是不是正确的,如果这个变量名不正确应该用哪个?

成为第一个点赞的人吧 :bowtie:
回复数量: 1
  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2018-10-10 17:32:40

    1、集群总内存计算(executor个数) * (SPARK_EXECUTOR_MEMORY+ spark.yarn.executor.memoryOverhead)+(SPARK_DRIVER_MEMORY+spark.yarn.driver.memoryOverhead)
    所以要综合考虑下,这个要一点一点试,没有比较好的参考 cdh官方的默认值已经是很科学的了 但是不同集群的job大小不一样,没法通用,因为可能你把这个job调好了 其他job也会报错,所以尽量优化job中的代码,使代码不要出现内存使用过多比较好
    2、调整参数在submit时候
    --conf spark.yarn.executor.memoryOverhead=2048 这种方法设置 不要用环境变量的方法

暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
Ctrl+Enter