spark 写入 Elasticsearch 丢失数据的问题?

问答 wzyaizx1314 ⋅ 于 2021-04-21 09:20:42 ⋅ 最后回复由 青牛 2021-04-28 15:54:35 ⋅ 1611 阅读

使用官方的 elasticsearch-hadoop往es中导入数据,数据量大的时候,spark写入es会丢失一些数据,为什么?

回复数量: 7
  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2021-04-21 09:55:39

    中间要是没报错,那可能就是你程序的问题

  • wzyaizx1314
    2021-04-21 11:13:20

    @青牛 何老师能不能看下代码.....哪里出了问题.....中间也没报错。截图有点模糊......

    file

  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2021-04-26 09:25:57

    @wzyaizx1314 没看出啥毛病啊

  • wzyaizx1314
    2021-04-26 10:10:35

    @青牛 不知道哪里出的问题。想单独把hbase的数据都拿出来分析下,结果也报错了....这个是为啥

    file

  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2021-04-26 10:19:47

    @wzyaizx1314 你开发环境好像有问题,native库没有

  • wzyaizx1314
    2021-04-28 15:45:38

    @青牛 环境问题解决了, spark任务总是生成_temporary/0 这种目录 跑着就自动结束了,yarn上显示成功,是为啥

  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2021-04-28 15:54:35

    @wzyaizx1314 生成临时目录正常,是不是你的driver挂了?

暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
Ctrl+Enter