spark 源码之 stage 划分疑问?

问答 xiaolin93 ⋅ 于 2018-03-09 16:11:28 ⋅ 2860 阅读

在handleJobSubmitted 方法中会调用newStage方法创建一个stage (1),一步步跟踪进入newStage方法会发现有一个方法,getParentStages(2),这个里面就是根据宽窄依赖划分stage,但是在在handleJobSubmitted方法最后会submitStage(3),而这个方法里面调用了getMissingParentStages(4) ,这个方法和getParentStages 里面的代码基本上一样 我想问,为什么在submitstage的时候还要在划分一边stage,总共一次任务划分了两遍stage
file
file
file
file

回复数量: 0
    暂无评论~~
    • 请注意单词拼写,以及中英文排版,参考此页
    • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
    • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
    • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
    • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
    Ctrl+Enter