sqoop 如何抽取文件?

问答 BigTester ⋅ 于 2018-01-23 09:56:34 ⋅ 最后回复由 青牛 2018-01-23 11:28:22 ⋅ 4187 阅读

sqoop抽取过来的数据是放到NameNode还是DataNode上呢?
抽取过来的数据有Java文件,编译文件和jar包。上传哪个到hdfs上呢?
sqoop抽取mysql数据库中表指定到hive中,可以在hive数据库看见这张表吗?
上传文件到hdfs上一般是收到上传还是编写shell脚本批量上传呢?
在开发过程中,sqoop抽取数据的命令是Java代码中执行还是必需要命令行输入执行呢?

成为第一个点赞的人吧 :bowtie:
回复数量: 1
  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2018-01-23 11:28:22

    sqoop抽取过来的数据是放到NameNode还是DataNode上呢?
    答:放到hdfs上就是放到datanode,namenode不存数据,也不要在上面进行不必要的操作,去操作机上执行任务命令。
    抽取过来的数据有Java文件,编译文件和jar包。上传哪个到hdfs上呢?
    答:你这是啥数据干啥用的,没看懂
    sqoop抽取mysql数据库中表指定到hive中,可以在hive数据库看见这张表吗?
    答:你都到指定的HIVE表中了,那就说明你在 hive中已经有这张表了,那就指定能看见呗
    上传文件到hdfs上一般是收到上传还是编写shell脚本批量上传呢?
    答:批量上传,不要一条一条append到hdfs
    在开发过程中,sqoop抽取数据的命令是Java代码中执行还是必需要命令行输入执行呢?
    答:根据你自己的需要那种都可以,命令行比较方便。

暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
Ctrl+Enter