海汼部落
  • 首页
  • 课程
  • 实战
  • 云平台
  • 部落
  • 公告
  • 分享
  • 问答
    登 录 注册
创始人

青牛

第 12 位会员

449 关注者
2251 评论
308 话题

  • WeChat
  • Website
  • 公司
  • 城市
  • Ta 发布的话题
  • Ta 发表的回复
  • Ta 关注的用户
  • Ta 赞过的话题
  1. 个人中心
  2. Ta 发表的回复(2251)
  • spark 读取 hbase 40 亿数据。怎么读取性能更高?

    这么大量的数据,建议你用读取hbase底层文件hfile的方式去操作。

  • hive 查询一个 2 亿数据的表,非常慢,有什么办法设置查询?

    对别人没有影响,这个只影响你自己的hive,你重新进hive这个mapred.reduce.tasks设置就失效了。set属于临时的设置,只在当前session中有效。
    用set mapred.reduce.tasks;可以看到之前的配置
    非常慢的原因可能由于数据倾斜了,你看一下是不是有的reduce跑的非常快,shuffle的数据量很大。这个得需要你自己分析一下数据的情况

  • 请问 hbase 的二级索引用 Elasticsearch 时是不是用 es 去映射 hbase 的列字段?

    差不多

  • spark 程序 yarn 运行报错?

    @陌上花开 在HDFS创建一个目录,然后使用hadoop fs -put命令上传啊:sweat:

  • nodemanager 无法访问,怎么办?

    @大中 :sweat:

  • spark 程序 yarn 运行报错?

    @陌上花开 yarn模式时要把使用的jar都传到hdfs上并在spark-defaults.conf配置jar包的路径

    file

  • nodemanager 无法访问,怎么办?

    8031是这个yarn.resourcemanager.resource-tracker.address
    8033是这个yarn.resourcemanager.admin.address

  • spark 程序 yarn 运行报错?

    @陌上花开

    file

  • spark 程序 yarn 运行报错?

    @陌上花开
    spark-env.sh里export SPARK_CLASSPATH=/usr/local/spark/jars/: /usr/local/hbase/lib/
    也可以在submit命令中使用--driver-class-path /usr/local/spark/jars/: /usr/local/hbase/lib/

  • spark 程序 yarn 运行报错?

    那就是你没有吧hbase的lib配置到classpath里

  • spark 程序 yarn 运行报错?

    是在driver报错还是在yarn节点报错?

  • hadoop 的 Windows 环境部署后启动失败?

    你用管理员模式的CMD启动试试

  • 请问有实战项目吗?视频讲解的那种

    @ling775000 有一部分是这样的,有一部分是零基础的

  • 请问有实战项目吗?视频讲解的那种

    @ling775000 社区的东西都免费的,只是业余时间做比较慢吧,大约1个月吧

  • 请问有实战项目吗?视频讲解的那种

    海牛会放出一部分,请等待视频制作中

  • «
  • 1
  • 2
  • ...
  • 128
  • 129
  • 130
  • 131
  • 132
  • 133
  • 134
  • ...
  • 145
  • 146
  • »

为技术学习者提供一个动手实战、分享创造、结识伙伴、协同互助的平台。    

  京公网安备 11011402010672号        京ICP备17041118号-2