目前遇到一个问题，SparkStreaming消费Kafka数据的时候，当有大量初始化数据，并且这些数据涉及大量任务，那么这初始化的大量任务的执行会阻塞实时从Kafka发送过来的任务（因为当前任务的执行优化的还不够快，所以当初始化发送好几万的任务的时候造成非常明显的阻塞），请问这样的初始化任务执行的问题可以怎么解决，谢谢？
SparkStreaming 消费 kafka 数据，怎样解决大量初始化数据的问题？
成为第一个点赞的人吧 
回复数量: 1
-
没啥关系吧 你的初始化不就是一次吗 难道天天要初始化吗 只要你的消费速度足够快就可以了
作者：七里芬芳
春风亭老朝。
- GitHub
- 公司
- 城市
七里芬芳 的其他话题
- Hive 为什么每次启动都需要初始化元数据，不然会报错如下，怎么解决？
- spark collect ()，当数据量比较大时，卡死怎么解决？
- kafka spring 如何发送的消息，他自己管理 zookeeper 吗？
- Kafka-spark-kafka-spark 架构有什么优势吗，为何两次使用 kafka？
- SparkStreaming 消费 kafka 数据，怎样解决大量初始化数据的问题？
- 如何解决 Spark 大规模数据运行情况下，速度越来越慢的情况？
- spark 如何实现一个快速的 RDD 中所有的元素相互计算？
- Spark 是一种内存计算引擎，为什么他还要依赖 HDFS 这种文件系统呢？
分类下其他主题
QQ群1：551936262
关注海牛部落大数据技术社区
