spark Dataset.createTempView 作用是什么?

问答 shishuai19910217 ⋅ 于 2018-10-11 16:40:19 ⋅ 最后回复由 青牛 2018-10-12 09:52:41 ⋅ 4781 阅读

DataFrameReader reader = sparkSession.read().format("jdbc")
.option("url", "jdbc:mysql://192.168.10.212:3306/orm")
.option("dbtable", "tf_f_project")
.option("user", "koala")
.option("password", "koala")
.option("driver", "com.mysql.jdbc.Driver");
Dataset datas = reader.load();
datas.createTempView("tf_f_project");

    Dataset<Row> projects = sparkSession.sql("select * from tf_f_project");
     sparkSession.sql( 。。)得到的是一个新的dataSet集合(projects)那么 新的集合(projects)与旧的dataSet集合(datas)有什么联系呢?   或者是  datas.createTempView("tf_f_project");对projects有什么影响?
成为第一个点赞的人吧 :bowtie:
回复数量: 1
  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2018-10-12 09:52:41

    createTempView是个逻辑概念,你可以理解为一个视图,这个视图可以屏蔽底层具体的sql语句,注册了以后直接操作datas就相当于直接执行sql了

暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
Ctrl+Enter