青牛

第 12 位会员
注册于 2016-12-24 21:53:20
活跃于 2024-04-02 22:38:12


  • 信息被删除或无权限查看
  • [公告] 社区表情包已到达 at 2017-12-31 01:46:21

    :+1:

  • sparkcore 将文本数据转化为表的映射关系 at 2017-12-30 16:43:43

    @yan 这个代码应该是你要的意思吧?

        val numbers = List(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)
        val parallelize: RDD[Int] = sc.parallelize(numbers, 1)
        import scala.collection.mutable.HashMap
        val tableRdd: RDD[(String, HashMap[String, AnyVal])] = parallelize.map(f => {
          val map = new HashMap[String, AnyVal]()
          ("表名", map += "列名"-> f)
        })
        val tuples: Array[(String, mutable.HashMap[String, AnyVal])] = tableRdd.collect()
        for (a:(String, mutable.HashMap[String, AnyVal]) <- tuples){
          println("表名:" + a._1 + " 数据:" + a._2)
        }

    结果
    file

  • sparkcore 将文本数据转化为表的映射关系 at 2017-12-30 15:43:31

    你map之后返回元组 (表名,Map<列名,值>) 就会变成RDD[表名,Map[列名,值]],返回什么自己定不是非得Array

  • sparkcore 将文本数据转化为表的映射关系 at 2017-12-30 15:13:21

    那你用map转成pairRDD key为你定义的表名,做切分转成map结构当value不就行了

  • sparkcore 将文本数据转化为表的映射关系 at 2017-12-30 14:47:41

    你那数据是一个表的,还是多个表的?数据里有表名吗?

  • 单独的 spark.tar 和 spark-2.1.2-bin-hadoop2.7.tar 有什么区别吗? at 2017-12-29 15:59:50

    spark-2.1.2-bin-hadoop2.7.tar是基于hadoop2.7编译的2.1.2版本的spark,这个版本可以使用hadoop的yarn
    spark.tar这个你可以打开看看如果里面有源码那就是未编译的版本,一般会比较小。如果里面没有源码那就是最新版的spark独立安装版

  • 为甚么安装环境中就一个呢 at 2017-12-29 11:07:12

    你下得系统镜像就是最小安装版的吧

  • 万能的胶水语言 python at 2017-12-29 02:55:25

    :+1:

  • java 调用 PHP 文件 at 2017-12-28 17:52:37

    这样子试试?当然你的环境变量里要配置好,才能找到php命令

    Process process =null;
    String command1 = “php ”+"PHP文件地址";
    process = Runtime.getRuntime().exec(command1);
    process.waitFor();
  • IDEA HBASE Windows 本地调试 Caused by: java.lang.ClassNotFoundException: org.htrace.Trace 错 at 2017-12-28 17:46:27

    你是用java api读hbase吗?
    正常在maven里加上hbase-client就可以了。
    你可以把你代码和报错贴个图

  • 使用 idea 执行 mr 的时候,报错 Failed to set permissions of path at 2017-12-28 16:15:58

    是win10系统在idea上执行mr程序吗?

  • spark lambda 表达式传参 at 2017-12-27 18:14:36

    java版的api看着麻烦,你怎么不用scala版的

  • spark2.2 查询 MySQL 的问题 at 2017-12-26 17:39:30

    @maxy 能啊,你定义个变量不就得了

    val url:String = "jdbc:mysql://localhost:3306/hainiutest"
  • spark2.2 查询 MySQL 的问题 at 2017-12-26 16:18:30

    @maxy 2.2还是可以使用SQLContext的,只是不建议使用而已,未来版本会抛弃。
    你的代码我这里是没有问题的哦,给你个参照,你看看是不是那里写错了?

    package com.hainiu.spark.sql
    
    import org.apache.spark.SparkConf
    import org.apache.spark.sql.{Dataset, SparkSession}
    object SqlMysql_session {
      def main(args: Array[String]): Unit = {
        val conf = new SparkConf()
        conf.setAppName("sqlmysql").setMaster("local")
        val spark = SparkSession.builder().appName("SparkSQLDemo").config(conf).getOrCreate()
        val data: Dataset[_] = spark.read.format("jdbc")
          .option("driver", "com.mysql.jdbc.Driver")
          .option("url", "jdbc:mysql://localhost:3306/hainiutest")
          .option("dbtable", "hainiu_web_seed")
          .option("user", "hainiu")
          .option("password", "12345678").load
        data.createOrReplaceTempView("temp")
        val row: Dataset[_] = spark.sql("select * from temp")
        row.show()
      }
    }

    file