海汼部落
  • 首页
  • 课程
  • 实战
  • 云平台
  • 部落
  • 公告
  • 分享
  • 问答
    登 录 注册
创始人

青牛

第 12 位会员

449 关注者
2251 评论
308 话题

  • WeChat
  • Website
  • 公司
  • 城市
  • Ta 发布的话题
  • Ta 发表的回复
  • Ta 关注的用户
  • Ta 赞过的话题
  1. 个人中心
  2. Ta 发表的回复(2251)
  • yarn 任务 ACCEPTED 状态,查看日志如下,大神知道怎么回事吗?

    看日志你需要启动yarn的proxyserver服务
    如果是看mr任务的日志你还需要启动historyserver服务

  • 常见的大数据交互方式有哪些?

    @水墨之风 目前来看,我还是建议把算好的数据放到mysql中的方式,目前的大数据解决方案对大量的数据查询速度都达不到从关系数据库中直接查询的速度。

  • 常见的大数据交互方式有哪些?

    如果数据量小的话可以,数据量大的话那用户等待时间长,就体验太差了。用户的忍耐度有一个3秒定论。当然如果是企业内部使用的话,即使用spark去查太大的数据量。也会有较长的等待时间,自己内部员工使用还凑合,不过要是你领导使用的话那他就不干了。:joy:

  • 请问在 hue 上用 hive 查询数据后导出 CSV 乱码怎么解决?

    @歌唱祖国 恩,有的时候不是文件是乱码的,而是打开的方式使用的编码不对让人觉得文件乱码了。

  • 请问在 hue 上用 hive 查询数据后导出 CSV 乱码怎么解决?

    @歌唱祖国 那就用软件看一下文件的编码比如notepad++

  • 我一直不明白 MongoDB 的使用场景有哪些?

    @ling775000 不同的解决方案而已,用MemcacheDB的地方也可以用hbase替代,但对比redis。对大数据的操作更友好,比如读取和写入。技术都有替代品而不是非得用那个,选择自己适合自己场景的。

  • 我一直不明白 MongoDB 的使用场景有哪些?

    需要:大缓存、KV存储并实时查询、要求可动态扩展,简单的说是需要nosql的场景,再简单的讲你可以理解成一个不受内存限制的大map

  • 请问在 hue 上用 hive 查询数据后导出 CSV 乱码怎么解决?

    @歌唱祖国 去控制台上用vim查看一下文件的编码吧,在vim中使用命令:set fileencoding

  • 请问在 hue 上用 hive 查询数据后导出 CSV 乱码怎么解决?

    @歌唱祖国 先让CVS不乱码,转换成excel的时候再调使用转换工具输出的编码

  • 请问在 hue 上用 hive 查询数据后导出 CSV 乱码怎么解决?

    @歌唱祖国 我的意思是你导出csv再转成excel

  • 请问在 hue 上用 hive 查询数据后导出 CSV 乱码怎么解决?

    @歌唱祖国 csv不就能用excel打开吗?你导出csv不就行了吗?
    如果非要转换的话你可以看看python的xlrd和csv模块,写个python脚本直接调用就可以当命令去使用的,不过数据太大速度也不会快

  • 优化 hive sql?

    join时小表使用map端join,当然现在新版的hive都是自动开启的
    多使用子查询
    分区表必须指定分区
    数据格式使用ORC格式
    查询小文件时使每个map读多个文件,避免产生过多的map
    可以使用桶表做查询文件的限制
    可以给无修改数据的hive表创建所引
    使用窗口函数进可适用增加map或reducer的内存
    mapper输出必须开启压缩
    shuffle数据倾斜时使用随机key前缀均衡倾斜的key,当然对于数据倾斜最好的方案还是让被查询的表不倾斜。

    暂时想到这么多,当然以上都是针对mapreducer计算引擎的。
    hive on spark最主要是GC调优,shuffle的优化等等

  • 请问在 hue 上用 hive 查询数据后导出 CSV 乱码怎么解决?

    先去服务器上执行hive的命令看看导出的文件是不是乱码,hive默认导出的文件都是UTF-8的。

  • python 有哪些技术点?

    你这个特点适用快速上手的,而且有其它语言基础python很好学
    先搭建出开发环境,掌握python的软件包的安装方法,快速了解基础语法,跟你现有掌握的语言对照着学习,比如JAVA
    给你个两天学习python的教程
    http://hainiubl.com/topics/199

  • eclipse 运行 hadoop 项目出现。ERROR: Please make sure Oracle NoSQL Database is up and running at 'localhost:5000' with store name as: 'kvstore'?

    正常会找项目下的hbase-site.xml文件,如果你的build-path里没有则会找jar包里的,想让程序启动以后找到你的配置那就往eclipse的项目目录下放一个hbase-site.xml文件,以后发问题可以贴图这样会清楚一些,看一下这个文章怎么配置hbase
    http://hainiubl.com/topics/123

  • «
  • 1
  • 2
  • ...
  • 135
  • 136
  • 137
  • 138
  • 139
  • 140
  • 141
  • ...
  • 145
  • 146
  • »

为技术学习者提供一个动手实战、分享创造、结识伙伴、协同互助的平台。    

  京公网安备 11011402010672号        京ICP备17041118号-2