Flink 提交 yarn 错误,有大佬能帮忙解决吗?

问答 kpwong ⋅ 于 2022-03-25 16:56:12 ⋅ 最后回复由 青牛 2022-03-28 23:46:58 ⋅ 2087 阅读

提交flink 自带的 程序 SocketWindowWordCount.jar 到yarn上 出现
Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster 错误。
不知道怎么解决
yarn 配置如下

yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.nodemanager.aux-services.mapreduce.shuffle.classorg.apache.hadoop.mapred.ShuffleHandleryarn.resourcemanager.addresshadoop72:8032yarn.resourcemanager.scheduler.addresshadoop72:8030yarn.resourcemanager.resource-tracker.addresshadoop72:8035yarn.resourcemanager.admin.addresshadoop72:8033yarn.resourcemanager.webapp.addresshadoop72:8088Ratio between virtual memory to physical memory when setting memory limits for containers. Container allocations are expressed in terms of physical memory, and virtual memory usage is allowed to exceed this allocation by this ratio. yarn.nodemanager.vmem-pmem-ratio2.1yarn.nodemanager.vmem-check-enabledfalseyarn.scheduler.minimum-allocation-mb6144yarn.scheduler.capacity.maximum-am-resource-percent0.6

flink 运行脚本如下:
/opt/module/flink/bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 -ys 1 /opt/module/flink/examples/streaming/SocketWindowWordCount.jar --hostname hadoop72 --port 9999

有大佬能帮忙解决吗?

成为第一个点赞的人吧 :bowtie:
回复数量: 5
  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2022-03-25 20:37:58

    给个yarn资源队列

  • kpwong
    2022-03-28 14:52:12

    @青牛 加了-yqu default 参数 还是不管用呀。

  • kpwong
    2022-03-28 19:13:55

    @青牛 谢谢你。 可以提交成功了。但是 提交多个flink任务到yarn上。 只能第一次提交到yarn上的成功。从提交第二个flink任务到yarn 上还是出现上面的Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster 错误。

  • kpwong
    2022-03-28 19:14:40

    @青牛 我估计是我的yarn配置有点问题。但是不太清楚如何配置yarn.

  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2022-03-28 23:46:58

    @kpwong 你得到队列资源不够

暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
Ctrl+Enter