如何解决 Spark 大规模数据运行情况下，速度越来越慢的情况？

问答 ⋅ 七里芬芳 ⋅ 于 2019-03-27 09:54:53 ⋅ 最后回复由青牛于 2019-03-29 17:36:44 ⋅ 3822 阅读

file
现在问题是分批利用集群处理数据：

按照理论来说，同一个任务流程，每批的处理时间应该相同，但是现在问题是，第1批是时间很快，大概5分钟能处理完，运行一段时间后，到第30多批后，运行效率会降下来，大概30分钟才能处理完，完全不知道为什么出现这种情况，spark的内存不是动态释放的吗？

成为第一个点赞的人吧

回复数量: 1

青牛国内首批大数据从业者，就职于金山，担任大数据团队核心研发工程师
⋅ 2019-03-29 17:36:44

1、可能有任务之间的依赖 2、spark的内存最好自己代码释放 3、找到运行缓慢的代码

请注意单词拼写，以及中英文排版，参考此页
支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
支持表情，可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif，教程
发布框支持本地存储功能，会在内容变更时保存，「提交」按钮点击时清空

Ctrl+Enter