spark 运行task之前,已经按照申请的资源开启了Executor,执行完再释放资源
每提交一次应用程序,会根据申请的资源来开启Executor,一般为了保证资源均衡,会一个worker开启一个Execuor,如果executor 多于worker,那会有一个worker开启多个executor情况。
如果一个worker5个G, 5个核,分配1G1核资源进行计算,该worker的其他资源就闲置,总结下来是用多少申请多少
- Worker 节点中 Executor 资源如何分配?
 - 通过读快照将 hfile 装成 orc 文件的时候 报错 Can not create a Path from a null string 不知道为问题出在哪里?
 - 请问已经按照老师的配置布置了 python,缺无法引入包是啥情况?
 - 公司日志采集用 flume 还是用脚本?
 - 公司日志采集用 flume 还是用脚本?
 - python 连接数据库报错,求解决?
 - _MySQL_exceptions.ProgrammingError:(2014,“命令不同步;您现在无法运行此命令”)?
 - sql 求解 如何根据百分比排序?
 - ?hive 问题-eclipse 无法操作 hive 数据库
 - Linux 上运行 python 脚本,模块都有,还报找不到模块的错误?
 - 源码分析之 spark 提交任务流程 5- Driver 下发 Task 到 Executor
 - 源码分析之 spark 提交任务流程 3- Worker 启动 CoarseGrainedExecutorBackend
 - 源码分析之 spark 提交任务流程 4- 创建 Executor
 - 源码分析之 spark 提交任务流程 2- Register App 后的 Scheduler
 - 源码分析之 spark 提交任务流程 1- Register App