请问如何用 spark 读取 sftp 的数据,并且更新它?

问答 歌唱祖国 ⋅ 于 2019-07-10 09:16:25 ⋅ 最后回复由 青牛 2019-07-23 14:17:28 ⋅ 2520 阅读

如题,spark1.5.1, 需要依赖什么外部包吗?

成为第一个点赞的人吧 :bowtie:
回复数量: 10
  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2019-07-10 14:29:46

    apache.commons.io和apache.commons.net 两个包就行了

  • 歌唱祖国 不要跟过去的自己比,要期待未来的自己,珍爱现在的自己。
    2019-07-10 15:33:36

    @青牛 需要用sparksql去读吗?还是用sparkCore去读?

  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2019-07-10 17:31:31

    @歌唱祖国 都可以啊 普通的java api也能读

  • 歌唱祖国 不要跟过去的自己比,要期待未来的自己,珍爱现在的自己。
    2019-07-10 17:37:10

    @青牛 spark的api用哪个呢?

  • 歌唱祖国 不要跟过去的自己比,要期待未来的自己,珍爱现在的自己。
    2019-07-10 17:37:31

    @青牛 有例子吗?

  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2019-07-12 16:53:54

    @歌唱祖国 你可以参考下https://blog.csdn.net/chenyongtu110/article/details/51866534

  • 歌唱祖国 不要跟过去的自己比,要期待未来的自己,珍爱现在的自己。
    2019-07-17 17:49:40

    @青牛 那样不是写个工具类,在Driver端执行的,还是单节点读取数据呢,还有更高效的方式吗?

  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2019-07-19 09:02:09

    @歌唱祖国 为啥要在driver端执行?

  • 歌唱祖国 不要跟过去的自己比,要期待未来的自己,珍爱现在的自己。
    2019-07-19 15:35:59

    @青牛 代码中用到sftp工具类下载数据不是在Driver端运行的吗?难道会发送到executor去执行吗?这个数据还没用sc.textFile()呢。一直对代码的运行不够浅析,代码中触发action操作才会将代码给Executor 行,其它代码还是在Driver端运行,我这样理解对吗?请指正。

  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2019-07-23 14:17:28

    @歌唱祖国 mapPartition函数了解一下

暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
Ctrl+Enter