RDD 编程第三问代码存在问题?

问答 NEMOlv ⋅ 于 2024-02-28 14:14:03 ⋅ 最后回复由 NEMOlv 2024-02-28 18:52:31 ⋅ 178 阅读

file
RDD编程第三问代码存在问题
以下是正确代码

package com.hainiu.spark
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
/**
 * step1 userid type count
 * step2 type movie avg_score
 */
object step3 {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setAppName("step3")
    conf.setMaster("local[*]")
    val sc = new SparkContext(conf)

    val rddStep1 = sc.textFile("data/step1")
      .map(t => {
        val strs = t.split(",")
        (strs(1),(strs(0),strs(2)))
      })

    val rddStep2 = sc.textFile("data/step2")
      .map(t => {
        val strs = t.split(",")
        (strs(0), (strs(1), strs(2)))
      })

    (rddStep1 join rddStep2).saveAsTextFile("data/step3")
  }
}
成为第一个点赞的人吧 :bowtie:
回复数量: 5
  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2024-02-28 18:46:59

    报啥错

  • NEMOlv
    2024-02-28 18:48:48

    @青牛 教程里面第三问的代码和第一问的代码是一模一样的。

  • NEMOlv
    2024-02-28 18:49:05

    @青牛B站上的是对的,网页上的是错的

  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2024-02-28 18:50:12

    @NEMOlv 那可能是教程粘错了,你按照视频来就行了

  • NEMOlv
    2024-02-28 18:52:31

    @青牛 对,我就是跟您说一下有这个问题。我贴出了B站上面的代码,您可以直接复制过去修改。再次感谢您的耐心解答qvq

暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
Ctrl+Enter