可能是java浮点数计算的问题

有啊

行转列呗？

这个你得自己编译spark了。编译spark时指定hive版本为1.1

@歌唱祖国 checkpoint可以保存这个offset，或都你自己找个地记下来，下次启动的时候当参数传进去。你工作咋这么积极那？过完年就开工了？

@ruiqi 是的，但是你要重弄表了，把region分多点，然后改成手动分region

val value: ConsumerStrategy[String,String] = ConsumerStrategies.Subscribe(topicSet,kafkaParams,offset)
val lines: InputDStream[ConsumerRecord[String, String]] = KafkaUtils.createDirectStream(streamingContext,LocationStrategies.PreferConsistent,value)

你说的是创建之前设置offset吗？

@ruiqi 程序猿都是夜猫子

@ruiqi 你们要是没做过优化的话，绝对不会是1S的。那个页面是没等你看到GC时间变长，regionserver就挂了