sparksql 读取 kafka 报错?

问答 菜鸟程序狗 ⋅ 于 2018-10-23 17:38:07 ⋅ 最后回复由 sandywei 2018-10-25 16:58:50 ⋅ 2911 阅读

SparkSession spark = SparkSession
.builder()
.appName("VideoStreamProcessor")
.master(prop.getProperty("spark.master.url"))
.getOrCreate();

    Dataset<Row> ds = spark.readStream().format("kafka")
    .option("kafka.bootstrap.servers","ip:9092")
    .option("subscribe", "topic")
      .load();
      ds.writeStream().outputMode("update").format("console").start();

报错,为什么?
Exception in thread "main" java.io.IOException: (null) entry in command string: null chmod 0644 C:\Users\root\AppData\Local\Temp\temporary-99b68965-f760-427b-80c8-0a0758362cda\metadata
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:770)
at org.apache.hadoop.util.Shell.execCommand(Shell.java:866)
at org.apache.hadoop.util.Shell.execCommand(Shell.java:849)
。。。。。。。

成为第一个点赞的人吧 :bowtie:
回复数量: 2
  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2018-10-24 13:49:46

    Windows的问题很多都是权限问题不是代码问题 建议你在linux系统上调试一下

  • sandywei
    2018-10-25 16:58:50

    出错显示 null chmod 644 修改一下访问权限755试一试

暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
Ctrl+Enter