伪代码

Map<String,List<Integer>> map = new HashMap<String,ArrayList<Integer>>();
if(value > max){
max=value
List mapList = map.get("max")
map_tmp = mapList[0]
if(max == map_tmp){
mapList.append(max)
}else{
List<Integer> list = new ArrayLIst<Integer>()
list.append(max)
map.put("max",list)
}
}

@小东 你可以用kafka,redis,mysql当用的队列中间件，或者干脆用个list。控制好锁和多个消费程序的队列阻塞问题就行，比如mysql可以用select * from table where type=1 for update去做，在事物中锁住type索引字段，且不会影响插入操作

是不是你的虚拟机给的硬盘空间太小了，或者你的电脑上的硬盘没空间了，学centos可以不用desktop，用命令行操作就可以了，选最小安装minimal就可以了

后台加个任务队列吧，用消费者模式去设计一套程序
前端受理成功只是向任务队列里成功添加了任务，处理程序再从队列里拿任务去处理

@陌二狗 我角得你现在比以前帅多了

@陌二狗 有进步啊，都能看源码了

@陌二狗 你有代码写错了，前面的单引号放到id后面

@陌二狗 方法后面要给，有几个泛型，规定返回值和传入值，去看一下教程的例子

java的spark的api有function类，pair rdd对应的是function2
包地址
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.function.Function2;
社区里的spark教程都是用java写的
http://hainiubl.com/topics/202

你的需求是宽列存储，所以用hbase比较合适，对数据的分析用SQL形式的比较多，hbase的数据存储在hdfs上所以可以读取底层的hfile文件转生hive用的文件就可以实现SQL查询了，所以用数据量大又是宽表结构就用hbase吧
当然hbase还有impala的解决方案

@姚明臣 hive存储用的是hdfs，所以你必须要保证你的hdfs没问题的基础上再去弄hive

看异常是你的datanode报错了，没有正在运行的datanode，或者你的文件副本数配置大于datanode的节点数也会报类似的异常

你要先启动hive的metastore服务，或者你的配置文件 hive-site.xml 里去掉metastore的连接信息，让hive的client直接连接mysql。
你可以参考这个帖子：http://hainiubl.com/topics/103

@JeeLearner 亲，那里不明白的可以去问答区提问

@healcool 我能刚到的办法就是把DataFrame转成rdd，然后在map里转一下吧