spark 如何和 yarn 结合的?

问答 张凌天 ⋅ 于 2019-11-06 18:07:45 ⋅ 最后回复由 青牛 2019-11-07 10:07:20 ⋅ 1294 阅读

总所周知,yarn是一个资源调度器,能够让各种计算框架运行在之上,例如spark,mapreduce. 那么问题就来了,就拿spark来举例,spark是如何和yarn结合的,将用户开发的程序放到yarn上运行的。这里我不是问yarn-client提交的流程哈, 我是想表达,例如AM,spark是如何去初始化的,什么时候去初始化的。 客户端的代码一般都是通过初始化SparkContext进而初始化spark应用,但是初始化之后又做了些什么事情呢?还有就是,如果我自己要些一个计算框架放到yarn上运行, 需要实现哪些东西? 这些东西都是yarn提供么? 最开始我以为ApplicationMaster是一个yarn的接口,各个系统都需要实现这个接口的,但是貌似我找了下也没找到这个接口。 不知道问题有没有描述清楚, 请各位大神解答,谢谢。

成为第一个点赞的人吧 :bowtie:
回复数量: 1
  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2019-11-07 10:07:20

    yarn提供了一套自己的调度机制,如果想被yarn调度起来需要自定义开发很多组件,spark也是自己开发了适应于yarn调度的接口,才能部署为spark on yarn,这个内容比较多,推荐一篇文章给你看下吧https://blog.csdn.net/u010039929/article/details/74934306

暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
Ctrl+Enter