@ruiqi 把regionserver的GC日志dump出来看看GC时间

你这么设计rowkey会造成数据的倾斜吧？建表的时候做预分region了吗？
目前你这张表只能优化优化regionserver的jvm参数，让垃圾回收速度快点

你先安装完winutils再试试。

你本地有hive-site.xml吗？

我们一般是先用hive分析那些特征比较有代表性，比如某个特征的点击或者转化比较高。然后再确定特征组合

你的zookeeper在虚拟机吧？那你能写 localhost的吗？是不是要写虚拟机的地址？

嘿嘿

@ling775000 这个看你map输出的数据量了，拉取这个map的数据的reducer需要多长时间从map端把数据读过来。一般reducer的前33%进度都是在shuffle数据。少就快多就慢呗。再少就算是1条也至少有几秒种的时间为reducer做准备吧，比如这个reducer任务被创建起来也要时间吧。

partition是可以自定义的，不自定义就默认按key的hash去分，比如你的reducer数量设置为20就按key hbase去分20份key，map output的时候就把每份数据输出0到19个partition分区中，然后20个reducer每个reducer去读自己partition文件的数据。
你要先理解这个shuffle的流程。默认情况下设置多个reducer数就会有多少个partition分区。也就是reducer任务的并行度。

你map之前不都是没有产生宽依赖吗，你的textFile->flatMap->map在一个节点上就可以完成，reduceByKey是聚合操作，也就是说所有前置节点的数据都会shuffle到一个节点上做聚合操作。最后一个rdd产不产生stage要看是不是像reduceByKey产生宽依赖的聚合操作，如果不是聚合操作就不重新划分stage。
你看的那个书啊，不会是骗子王家林的吧