海汼部落
  • 首页
  • 课程
  • 实战
  • 云平台
  • 部落
  • 公告
  • 分享
  • 问答
    登 录 注册
创始人

青牛

第 12 位会员

449 关注者
2251 评论
308 话题

  • WeChat
  • Website
  • 公司
  • 城市
  • Ta 发布的话题
  • Ta 发表的回复
  • Ta 关注的用户
  • Ta 赞过的话题
  1. 个人中心
  2. Ta 发表的回复(2251)
  • namenode 启动报错,哪位大神知道是怎么回事吗?

    fsimage文件没加载成功,找找磁盘目录权限问题,或者磁盘让你搞没了?

  • Zookeeper 异常 ConnectionLossException 怎么办?

    @Furing telnet不是这么用的,不是telnet ip 2181而是telnet 192.168.x.x 2181这种

  • Zookeeper 异常 ConnectionLossException 怎么办?

    你3个机器zookeeper应该是1个leader,2个follower
    先netstat -apn|grep 2181查看端口是否启用,之后可以在任意一台机器上
    使用zkCli登录一下zookeeper,测试一下是否好使

    file

    确认以上OK。
    再到windows上启用telnet服务,在cmd窗口使用“telnet ip 2181”进行连接测试,或者使用windows上的zkCli.cmd进行连接测试

    以上都没有问题那就只能是你代码的问题了

  • ambari 自动搭建集群报错怎么解?

    你的服务器上的python环境OK吗?

  • hive on spark 资源效率问题?

    数据量不大,不是复杂的SQL,shuffle少的话10分钟就能完成吧

  • spark groupByKey 的问题?

    你用x._2不就拿出来了吗

  • spark 的问题?

    @陌上花开 好奇葩的需求哦,我角得还可以自己写RDD弄个相同的自定义key,然后拼接循环输出,嘿嘿,还不如你这个方便呢

  • spark 的问题?

    @陌上花开 是把不相关的两行拼接到一起吗?

  • 在 hive 中有没比较高效的方式来查看我们现有库下所有表的记录总数?

    @小鱼a 不用写脚本哦,select count(1) from hive_table不就行了吗?

  • sqoop-sqlserver 驱动如何安装?

    这个很好找啊,http://download.csdn.net/download/ytlviv1985/5230408
    把sqljdbc.jar放到hadoop的lib目录下
    解压sqoop-sqlserver-1.0.tar.gz
    设置环境变量MSSQL_CONNECTOR_HOME
    export MSSQL_CONNECTOR_HOME=sqoop-sqlserver-1.0.tar.gz的解压目录
    好像还有一步安装,sqlserver我这边不太常用

  • spark 的问题?

    你保存的是地址,可能是由于你这段代码的原因

    file

    你这么写是不会生效的,过滤要用filter

    file

    你用的是cartesian,是笛卡尔集,你确定要这么关联吗?还是只关联必要的,当然这个cartesian不会产生shuffle,但是会产生很大的数据集

  • 在 hive 中有没比较高效的方式来查看我们现有库下所有表的记录总数?

    mysql中如果数据不删可以用自增ID看出来,hive是基于HDFS上的文件来做底层存储的,查看表的元数据是查不到行数的,所以必须得把所有文件读一便才知道,这个和关系型数据库的原理是不同的。

  • Linux 中 eclipse 的安装?

    下载个最新的就可以了。
    https://www.eclipse.org/downloads/eclipse-packages/

    file
    选择你对应的系统版本

  • DataNode 启动失败?

    io异常,目录没有权限?或者目录没建?

  • spark dataframe 转 dataset?

    亲,代码贴全店

  • «
  • 1
  • 2
  • ...
  • 129
  • 130
  • 131
  • 132
  • 133
  • 134
  • 135
  • ...
  • 145
  • 146
  • »

为技术学习者提供一个动手实战、分享创造、结识伙伴、协同互助的平台。    

  京公网安备 11011402010672号        京ICP备17041118号-2