yarn提供了一套自己的调度机制,如果想被yarn调度起来需要自定义开发很多组件,spark也是自己开发了适应于yarn调度的接口,才能部署为spark on yarn,这个内容比较多,推荐一篇文章给你看下吧https://blog.csdn.net/u010039929/article/details/74934306
- spark 如何和 yarn 结合的?
- python 如何实现查询 sql 数据库并生成 HTML 文件?
- 大数据技术平台有哪些?
- Hive MetaStore 引入的背景是什么?为什么要使用 Hive MetaStore?
- spark 的核心设计思想是什么?
- Hadoop,Hive,Kafka,Flume,Hbase,Spark 等 是部署在一个集群上面吗?
- ZooKeeper 是不是 Hadoop 体系实现 HA 的命门所在?
- pyspark 自定义 transform 如何导出成 PMML?
- 2 个 hdfs 集群,flink 怎么把数据写入另一个集群?
- Python 如何操作.dll 文件?
- MySQL 中,order by 语句和 select 语句哪个先执行?
- 多个线程读写 zookeeper 节点上数据过程中,读操作需要加锁么?
- 用 java 怎么写 multi-threaded client server chat?
- hadoop streaming,但是当-file 指定路径的 mapper.py,就报错?是什么原因?
- 请问通过 jdbc 精确查询 MySQL 数据库怎么写?