spark 大量数据读写问题？

你这么设计rowkey会造成数据的倾斜吧？建表的时候做预分region了吗？
目前你这张表只能优化优化regionserver的jvm参数，让垃圾回收速度快点

@青牛 ip都转换成long型存储了。通过数据扫描看 倾斜不是很严重。不过 处理一段时间就容易造成hbase 崩溃。造成锁表了

@ruiqi 把regionserver的GC日志dump出来看看GC时间

@青牛 记得在ui页面看gc时间在1s左右。

@ruiqi 你们要是没做过优化的话，绝对不会是1S的。那个页面是没等你看到GC时间变长，regionserver就挂了

@青牛 哦哦。这样子明天再看看。有问题再问您哈。多谢这么晚了还在回答问题。

@ruiqi 程序猿都是夜猫子

@青牛 你好 我又来麻烦您了。还是昨天的问题哈。 我看了下。我们程序当时没有做region 预分区。总ip数 总量最多40亿个。若果想做region预分区，这种应该用形式的比较好呢？

@ruiqi 是的，但是你要重弄表了，把region分多点，然后改成手动分region