@歌唱祖国 checkpoint可以保存这个offset,或都你自己找个地记下来,下次启动的时候当参数传进去。你工作咋这么积极那?过完年就开工了?
- 请问如何设置 kafka 的偏移量,采用 DStream 时没设置偏移量,每次启动从新消费,存在重复消费?
- spark 大量数据读写问题?
-
信息被删除或无权限查看
-
信息被删除或无权限查看
- 请问如何设置 kafka 的偏移量,采用 DStream 时没设置偏移量,每次启动从新消费,存在重复消费?
- 请问如何设置 kafka 的偏移量,采用 DStream 时没设置偏移量,每次启动从新消费,存在重复消费?
- spark 大量数据读写问题?
- spark 大量数据读写问题?
- spark 大量数据读写问题?
- spark 大量数据读写问题?
-
信息被删除或无权限查看
-
信息被删除或无权限查看
- spark 整合 kafka idea 本地测试报错,spark 版本 1.6.1 ,kafka 版本 kafka_2.10-0.8.2.2。这两个版本是不是不兼容?
-
信息被删除或无权限查看
- spark 整合 hive,sparkSQL 为什么调不到 hive 中的表?