是不是你的虚拟机给的硬盘空间太小了，或者你的电脑上的硬盘没空间了，学centos可以不用desktop，用命令行操作就可以了，选最小安装minimal就可以了

后台加个任务队列吧，用消费者模式去设计一套程序
前端受理成功只是向任务队列里成功添加了任务，处理程序再从队列里拿任务去处理

@陌二狗 我角得你现在比以前帅多了

@陌二狗 有进步啊，都能看源码了

@陌二狗 你有代码写错了，前面的单引号放到id后面

@陌二狗 方法后面要给，有几个泛型，规定返回值和传入值，去看一下教程的例子

java的spark的api有function类，pair rdd对应的是function2
包地址
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.function.Function2;
社区里的spark教程都是用java写的
http://hainiubl.com/topics/202

你的需求是宽列存储，所以用hbase比较合适，对数据的分析用SQL形式的比较多，hbase的数据存储在hdfs上所以可以读取底层的hfile文件转生hive用的文件就可以实现SQL查询了，所以用数据量大又是宽表结构就用hbase吧
当然hbase还有impala的解决方案

@姚明臣 hive存储用的是hdfs，所以你必须要保证你的hdfs没问题的基础上再去弄hive

看异常是你的datanode报错了，没有正在运行的datanode，或者你的文件副本数配置大于datanode的节点数也会报类似的异常

你要先启动hive的metastore服务，或者你的配置文件 hive-site.xml 里去掉metastore的连接信息，让hive的client直接连接mysql。
你可以参考这个帖子：http://hainiubl.com/topics/103

@JeeLearner 亲，那里不明白的可以去问答区提问

@healcool 我能刚到的办法就是把DataFrame转成rdd，然后在map里转一下吧

比如select cust_id as id from jr_data.test2_1_1 t limit 5

用python加上docker也能达到分布式计算的效果，但是需要自己解决的问题相比于hadoop和spark系列要麻烦的多，比如怎么对文件的均衡切分，怎么聚合相同的key值，怎么对数据进行join操作等。另外除了写程序spark和hadoop系列还能使用sql的形式对大数据进行计算。