ntpd服务是正常运行的吧？

你拼接“--proxy-server”这个启动参数试试

@ling775000 从源码中看是当topic的消费线程数量大于这个topic的分区数量时才会报这个异常，也就是有的消费线程没有分区让它消费，可以把消费线程的数量设置小点，或者把topic的分区设置多点。

确认当前topic的partition数量要与消费者同时消费消息的线程数对应

@陌上花开 你确定yarn中的其他机器和mysql连接没有问题吗？会不会mysql连接服务器有ip限制？

@陌上花开 先不读HBASE，单独测试下写入，定位一下问题

@陌上花开 是不是数据太多了，一次插入的时间太久了，然后就超时了，或者之前拿的mysql连接没有关闭导致连接数太多就超时了，可以看一下数据库的当前连接数是多少

@ruiqi 是的，大约30台吧

jdbc连接设置自动重连能解决不？
是不是你的driver先建的连接，后进行的运算，这样中间间隔的时间比较长了才超时的

@ling775000 我觉得es只是建了个索引

@ling775000 定位rowkey有利于hbase的读取速度。不用rowkey是不是所有hbase的列都要filter一下了？

@ling775000 这个要根据自己的集群情况去定，集群资源不够设置太多反而跑不完。设置成合理运用集群的资源就可以了

@ruiqi 社区里有一个MR的你自己翻译用spark吧，http://hainiubl.com/topics/126?

这么大量的数据，建议你用读取hbase底层文件hfile的方式去操作。

对别人没有影响，这个只影响你自己的hive，你重新进hive这个mapred.reduce.tasks设置就失效了。set属于临时的设置，只在当前session中有效。
用set mapred.reduce.tasks;可以看到之前的配置
非常慢的原因可能由于数据倾斜了，你看一下是不是有的reduce跑的非常快，shuffle的数据量很大。这个得需要你自己分析一下数据的情况