shell 编写问题?

问答 岁月流年 ⋅ 于 2021-06-15 16:32:34 ⋅ 最后回复由 青牛 2021-06-15 17:14:03 ⋅ 1137 阅读
#!/bin/bash
/usr/lib/spark/bin/spark-submit --master yarn \
--deploy-mode client \
--principal self_Research@WZJDH \
--keytab /home/wzjd_verify/szmt/auth/self_Research.keytab \
--conf "spark.executor.extraJavaOptions=-XX:+UseConcMarkSweepGC" \
--conf spark.hadoop.fs.hdfs.impl.disable.cache=true \
--files /home/wzjd_verify/szmt/auth/spark_jaas.conf,/home/wzjd_verify/szmt/auth/spark_kafka.keytab,config/SparkStreamingKafka.properties,config/beijing_kafka.properties \
--conf "spark.driver.extraJavaOptions=-Djava.security.auth.login.config=/home/wzjd_verify/szmt/auth/kafka_client_jaas.conf" \
--conf "spark.executor.extraJavaOptions=-Djava.security.auth.login.config=./spark_jaas.conf" \
--conf spark.default.parallelism=1104 \
--conf spark.network.timeout=360s \
--conf spark.executor.heartbeatInterval=300s \
--conf spark.yarn.executor.memoryOverhead=4096 \
--conf spark.ui.port=0 \
--conf "spark.ui.filters=" \
--queue root.bdoc.self_Research  \
--num-executors 184 \
--executor-memory 4G \
--executor-cores 3 \
--driver-memory 10G \
--name KafkaDataCount_JT_mme \

array_topic=("AH_mme" "BJ_mme" "CQ_mme" "FJ_mme" "GD_mme" "GS_mme" "GX_mme" "GZ_mme" "HA_mme" "HB_mme" "HE_mme" "HI_mme" "HL_mme" "HN_mme" "JL_mme" "JS_mme" "JX_mme" "LN_mme" "NM_mme" "NX_mme" "QH_mme" "SC_mme" "SD_mme" "SH_mme" "SN_mme" "SX_mme" "TJ_mme" "XJ_mme" "XZ_mme" "YN_mme" "ZJ_mme")

for((i=0;i<${#array_topic[*]};i++));do

--class cn.chinamobile.cmit.dsjptb.KafkaDataCount /home/wzjd_verify/szmt/zhaozhen/KafkaDataCount.jar "${array_topic[i]}" "3" >/data02/szmt/KafkaDataCount/KafkaDataCount_JT_mme$(date "+%Y%m%d%H%M%S").log 2>&1 &

sleep 4m

done;

然后报错了
file
求大神指教

成为第一个点赞的人吧 :bowtie:
回复数量: 6
  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2021-06-15 16:59:10

    你上面那一长串能不能弄个变量,然后和下面的循环里面拼接上,再用exec执行一下。以后脚本执行的时候用

    sh -x xxx.sh

    调试一下。以后发文章用markdown语法。

    https://github.com/riku/Markdown-Syntax-CN/blob/master/syntax.md

  • 岁月流年
    2021-06-15 17:03:48

    @青牛 这个我也不懂上面的好像是默认配置参数 ,还说和票据有关系,这个能不能把上面的全部放在循环里面执行,后面说还用调度呢, 还有那个sleep 对么
    这个markdown 不会设置呀

  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2021-06-15 17:05:57

    @岁月流年 那就都放里面吧,你这一下能跑不少任务,你确定一下,别乱整

  • 岁月流年
    2021-06-15 17:07:46

    @青牛 他这个任务是跑31个省的topic 每个省有两种 总共62个 每个省跑10分钟 应该没有问题吧

  • 岁月流年
    2021-06-15 17:12:59

    @青牛 老师他还是报错

    file

  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2021-06-15 17:14:03

    @岁月流年 文件找不到,自己检查一下

暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
Ctrl+Enter