海汼部落
  • 首页
  • 课程
  • 实战
  • 云平台
  • 部落
  • 公告
  • 分享
  • 问答
    登 录 注册
海牛派

潘牛

第 712 位会员

10 关注者
35 评论
41 话题

  • GitHub
  • 公司
  • 城市
  • Ta 发布的话题
  • Ta 发表的回复
  • Ta 关注的用户
  • Ta 赞过的话题
  1. 个人中心
  2. Ta 发表的回复(35)
  • Worker 节点中 Executor 资源如何分配?

    spark 运行task之前,已经按照申请的资源开启了Executor,执行完再释放资源
    每提交一次应用程序,会根据申请的资源来开启Executor,一般为了保证资源均衡,会一个worker开启一个Execuor,如果executor 多于worker,那会有一个worker开启多个executor情况。
    如果一个worker5个G, 5个核,分配1G1核资源进行计算,该worker的其他资源就闲置,总结下来是用多少申请多少

  • 通过读快照将 hfile 装成 orc 文件的时候 报错 Can not create a Path from a null string 不知道为问题出在哪里?

    查看是否在hbase-site. xml 中增加root path
    可以在get Root Dir方法处打断点看看

  • 请问已经按照老师的配置布置了 python,缺无法引入包是啥情况?

    1)先看看是把代码根目录添加到sys.path中
    2)pip list 查看 是否安装 MySQL-python
    3)查看数据库连接配置是否正确
    4)用普通代码调用db_util.py 查询MySQL数据库,看是否能查询成功

  • 公司日志采集用 flume 还是用脚本?

    @AIZero 我们归集日志,只是按照小时归集即可,不用管当前小时内的文件数据和目录的关系,因为数据处理出报表是按照每条记录的业务时间。

  • 公司日志采集用 flume 还是用脚本?

    重点研究下taildir 源的使用 和 hdfs sink的使用, hdfs sink配置时,可以配置按照天,小时滚动生成日志,如:
    a1.sinks.k1.hdfs.path = hdfs://ns1/user/hadoop/access/%Y/%m%d/%H
    每个参数是干什么的,你可以参考flume官方文档
    http://flume.apache.org/FlumeUserGuide.html#hdfs-sink

  • python 连接数据库报错,求解决?

    先用db_test.py 做数据连接的简单测试,看是否能连接上

  • _MySQL_exceptions.ProgrammingError:(2014,“命令不同步;您现在无法运行此命令”)?

    SQL语句字符串中增加了 #一个sql, sql语法报错

  • sql 求解 如何根据百分比排序?

    按照数值排序即可

  • ?hive 问题-eclipse 无法操作 hive 数据库

    这位同学,如果你用虚拟机hive的源数据库作为本地数据hive的元数据库,建议在搭建完本地hive库后,运行时创建一个新的数据库,这样可以免去老数据带来的困扰。

  • Linux 上运行 python 脚本,模块都有,还报找不到模块的错误?

    这位同学,请确保在queue_apple.py 脚本的已经在最上面添加python 环境path
    如果当前脚本没问题,就看看引入的脚本是否添加了python环境path

  • 源码分析之 spark 提交任务流程 5- Driver 下发 Task 到 Executor

    very good

  • 源码分析之 spark 提交任务流程 3- Worker 启动 CoarseGrainedExecutorBackend

    very good

  • 源码分析之 spark 提交任务流程 4- 创建 Executor

    very good

  • 源码分析之 spark 提交任务流程 2- Register App 后的 Scheduler

    very good

  • 源码分析之 spark 提交任务流程 1- Register App

    very good

  • «
  • 1
  • 2
  • 3
  • »

为技术学习者提供一个动手实战、分享创造、结识伙伴、协同互助的平台。    

  京公网安备 11011402010672号        京ICP备17041118号-2