青牛

第 12 位会员
注册于 2016-12-24 21:53:20
活跃于 2024-04-02 22:38:12


  • Hbase 的 Java 操作的 com.hainiu.hadoop.util.utils 这个类的代码能否给出来,资料里面没有找到这个类的代码? at 2018-04-11 15:35:39

    好的我发给你

    /**
     * 通用工具类
     * 
     * @author   青牛
     * @Date     2017年9月1日   
     */
    public class Utils {
    
        /**
         * 判断是否为空,支持字符串、map、集合、数组和其它对象
         * 
         * @param obj               判断的对象
         * @return                  为空返回True,不为空返回False
         */
        public static boolean isEmpty(Object obj){
            if(obj == null){
                return true;
            }else if (obj instanceof String){
                return "".equals(String.valueOf(obj).trim());
            }else if (obj instanceof Map<?,?>){
                return ((Map<?,?>) obj).isEmpty();
            }else if (obj instanceof Collection<?>){
                return ((Collection<?>) obj).isEmpty();
            }else if (obj.getClass().isArray()){
                return Array.getLength(obj) == 0;
            }
            return false;
        }
    
        /**
         * 判断是否为空,支持字符串、map、集合、数组和其它对象
         * 
         * @param obj               判断的对象
         * @return                  为空返回False,不为空返回True
         */
        public static boolean isNotEmpty(Object obj){
            return !isEmpty(obj);
        }
    
    }
  • hbase 启动问题? at 2018-04-10 20:09:48

    @tedxianfq 这个是启动每个节点上的regionserver,daemons是启动每个节点的,daemon是启动一个节点的。所以根据你的需求使用带s还是不带s的。

  • hbase 启动问题? at 2018-04-10 17:59:10

    @tedxianfq 你的master起来了吗?

  • hbase 启动问题? at 2018-04-10 17:47:13

    你这上面是不是还有其它异常啊?都贴出来看看

  • spark sortByKey ? at 2018-04-09 16:05:26

    @maxy 因为sortbykey在内部使用了RangePartitioner,所以会保证分区1小于分区2,以此类推

  • spark sortByKey ? at 2018-04-08 23:03:15

    你那key是string所以按照字典序排列了,给他转成int的

  • hadoop block missing 自动修复? at 2018-04-08 23:01:15

    datanode重新上报匹配的块信息了?

  • 海牛部落 Linux 系列教程:(3) Shell 基本命令 at 2018-04-06 23:10:15

    @luo6994658 任何可被执行的文件都是二进制的,但二进制文件不一定可被执行啊?比如一个视频文件也是二进制的,但是它并不能被直接执行,它需要一个播放器程序才能打开,这个播放器程序一定是二进制的。 whereis -b就是找这种播放器,而不是找这种视频文件。

  • 大数据开发和大数据分析有什么区别呢? at 2018-04-06 23:01:32

    @ling775000 报表平台有了吗?ETL是实时的?做数据产品啊,基于数据做用户属性挖掘啊,建各维度属性的用户特征表啊,还有数据仓储啊,还有提供实时查询啊,事多了去了,每一部分就够一堆人干的。ETL是整个数据流程最简单的。
    当然有一些小公司只知道,ETL->数据仓储->报表。那只能说还没有能力认识到下一步怎么做,或者自己的业务还没有达到更深度使用数据的层度。

  • 大数据开发和大数据分析有什么区别呢? at 2018-04-06 00:23:08

    再补充一点,数据分析师做不了数据开发的工作,因为不会写程序,不懂复杂的数据系统怎么弄。而数据开发是能做数据分析的,因为写SQL、excel对个程序员来讲都是很简单的东西,只需要了解一些业务场景和行业知识便可以替代数据分析师的工具,但是没有开发转分析师的。
    原因:1、熟练以后就变成重复性的工作,会有瓶颈期。2、工资较底。3、跳槽费劲,因为工作时间长了你值钱的地方只是你对某个行业的深入理解,所以你跳槽只能去同行业,这样面就小了很多。
    所以一般都是数据分析师转成开发。
    原因:1、工资想得到提升。2、因为长时间接触数据工作,对数据开发的流程感兴趣。3、不想变成只会用枪而不知道枪是怎么造出来的人。

  • 大数据开发和大数据分析有什么区别呢? at 2018-04-06 00:05:19

    数据分析是使用已有的数据结合某种大数据平台或工具(比如HIVE)再根据所处的行业或业务场景做出相应的数据报表或分析报告,比如某个游戏,数据分析师会做出什么年龄段的玩家喜欢什么样的人物设计这样的数据分析报告。或某个购物网站的数据分析师会做出相应的活动在某个地区什么样的物品有多少人进行购买。
    刚才说数据分析师使用的数据、大数据平台、工具都是数据开发做的。当然数据开发提供的这些服务可以被很多地方使用,数据分析师只是使用这些服务的一类人。数据开发提供了什么样的数据,数据分析师才能做出什么纬度的分析结果,比如刚才说的数据种类:年龄段、地理位置。如果数据开发提供不了这些数据,那数据分析师也就无用武之地了。
    数据分析师是依赖于数据开发生存的,没有子弹要枪何用?

  • 海牛部落 Linux 系列教程:(3) Shell 基本命令 at 2018-04-04 13:33:21

    @luo6994658 好的,已纠正

  • 海牛教程 hadoop 部署,SSH_root.sh 命令报错? at 2018-03-31 15:16:21

    @hainiu4mark 以后启集群或安装大数据软件都要使用hadoop用户,避免再引起其它问题

  • 什么 python 包能做无偏好推荐,用户行为只有点击没有打分? at 2018-03-31 13:55:21

    spark有mllib mr有mahout

  • 海牛教程 hadoop 部署,SSH_root.sh 命令报错? at 2018-03-31 13:34:33

    在每台机器上执行一下 chown -R hadoop:hadoop /usr/local/hadoop
    @hainiu4mark