青牛

第 12 位会员
注册于 2016-12-24 21:53:20
活跃于 2024-03-29 03:03:34


  • IDEA HBASE Windows 本地调试 Caused by: java.lang.ClassNotFoundException: org.htrace.Trace 错 at 2017-12-28 17:46:27

    你是用java api读hbase吗?
    正常在maven里加上hbase-client就可以了。
    你可以把你代码和报错贴个图

  • 使用 idea 执行 mr 的时候,报错 Failed to set permissions of path at 2017-12-28 16:15:58

    是win10系统在idea上执行mr程序吗?

  • spark lambda 表达式传参 at 2017-12-27 18:14:36

    java版的api看着麻烦,你怎么不用scala版的

  • spark2.2 查询 MySQL 的问题 at 2017-12-26 17:39:30

    @maxy 能啊,你定义个变量不就得了

    val url:String = "jdbc:mysql://localhost:3306/hainiutest"
  • spark2.2 查询 MySQL 的问题 at 2017-12-26 16:18:30

    @maxy 2.2还是可以使用SQLContext的,只是不建议使用而已,未来版本会抛弃。
    你的代码我这里是没有问题的哦,给你个参照,你看看是不是那里写错了?

    package com.hainiu.spark.sql
    
    import org.apache.spark.SparkConf
    import org.apache.spark.sql.{Dataset, SparkSession}
    object SqlMysql_session {
      def main(args: Array[String]): Unit = {
        val conf = new SparkConf()
        conf.setAppName("sqlmysql").setMaster("local")
        val spark = SparkSession.builder().appName("SparkSQLDemo").config(conf).getOrCreate()
        val data: Dataset[_] = spark.read.format("jdbc")
          .option("driver", "com.mysql.jdbc.Driver")
          .option("url", "jdbc:mysql://localhost:3306/hainiutest")
          .option("dbtable", "hainiu_web_seed")
          .option("user", "hainiu")
          .option("password", "12345678").load
        data.createOrReplaceTempView("temp")
        val row: Dataset[_] = spark.sql("select * from temp")
        row.show()
      }
    }

    file

  • MapReduce 编程系列 at 2017-12-26 16:06:03

    @HiHadoop 你这么写本来就没啥意义啊, 你非要写,实际工作中也没有这么用的

  • MapReduce 编程系列 at 2017-12-26 15:25:08

    @HiHadoop 拼字符串,然后用context输出

  • spark2.2 查询 MySQL 的问题 at 2017-12-26 15:11:17
    Dataset<Row> jdbc = sqlc.jdbc("jdbc:mysql://localhost:3306/数据库?user=用户名&password=密码", "表名");
    jdbc.show(100);
  • 数据开发与 ETL 的区别 at 2017-12-25 21:02:28

    @慧爱万泽 不客气,欢迎随时来社区讨论

  • Spark 在 yarn 集群中提交任务失败 at 2017-12-25 18:13:04

    你看一下你这个包是不是坏掉了 /data/beh/core/spark/chdalib/protobuf-java-2.5.0.jar

  • 数据开发与 ETL 的区别 at 2017-12-25 18:08:33

    @慧爱万泽 恩还有数据处理,数据处理包括数据清洗

  • 数据开发与 ETL 的区别 at 2017-12-25 17:41:57

    转挖掘需要算法基础,分析需要更理解业务,不管是ETL还是挖掘前题是都得会数据开发,当然数据分析需要的少一些。要是向后期发展当然是数据挖掘比较好了

  • oracle 空间配额问题。求大神指教。 at 2017-12-25 16:47:06

    dba_ts_quotas(查看所有用户的表空间配额)
    BYTES字段表示用户已经使用的空间;MAX_BYTES如果为-1表示没有限制,其他值表示限制配额

  • MapReduce 编程系列 at 2017-12-25 16:43:48

    伪代码

    Map<String,List<Integer>> map = new HashMap<String,ArrayList<Integer>>();
    if(value > max){
    max=value
    List mapList = map.get("max")
    map_tmp = mapList[0]
    if(max == map_tmp){
    mapList.append(max)
    }else{
    List<Integer> list = new ArrayLIst<Integer>()
    list.append(max)
    map.put("max",list)
    }
    }
  • 后台关于异步处理 at 2017-12-25 15:07:35

    @小东 你可以用kafka,redis,mysql当用的队列中间件,或者干脆用个list。控制好锁和多个消费程序的队列阻塞问题就行,比如mysql可以用select * from table where type=1 for update去做,在事物中锁住type索引字段,且不会影响插入操作