生产环境建议5台以上，要搭建HA，服务器数据盘不需要做raid，系统盘可以做，硬盘越多做好，内存和cpu也是，服务器之间要用千M以上的网络连接

是的，@天空的思念 说的没错，最少上安装版适用于服务器，你自己需要什么软件再安装
@夏茂华 你可以看一下 http://hainiubl.com/topics/79 这个教程

是因为你的slave有master的公钥，而master上没有slave的公钥。一般master不需要配置slave的公钥，因为slave节点有很多，所以这个要配置很多，hadoop集群只需要让master控制slave就可以了

@天空的思念 自己的答的还可以，有个策略是即使不能本地执行，比如有数据那台机器资源不够了，也会在临近的节点启动任务，这样可以尽可能的减少传输延迟，这个叫机架感知策略。

:+1:

@yan 这个代码应该是你要的意思吧？

    val numbers = List(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)
    val parallelize: RDD[Int] = sc.parallelize(numbers, 1)
    import scala.collection.mutable.HashMap
    val tableRdd: RDD[(String, HashMap[String, AnyVal])] = parallelize.map(f => {
      val map = new HashMap[String, AnyVal]()
      ("表名", map += "列名"-> f)
    })
    val tuples: Array[(String, mutable.HashMap[String, AnyVal])] = tableRdd.collect()
    for (a:(String, mutable.HashMap[String, AnyVal]) <- tuples){
      println("表名:" + a._1 + " 数据:" + a._2)
    }

结果

你map之后返回元组 (表名，Map<列名，值>) 就会变成RDD[表名,Map[列名，值]]，返回什么自己定不是非得Array

那你用map转成pairRDD key为你定义的表名，做切分转成map结构当value不就行了

你那数据是一个表的，还是多个表的？数据里有表名吗？

spark-2.1.2-bin-hadoop2.7.tar是基于hadoop2.7编译的2.1.2版本的spark，这个版本可以使用hadoop的yarn
spark.tar这个你可以打开看看如果里面有源码那就是未编译的版本，一般会比较小。如果里面没有源码那就是最新版的spark独立安装版

你下得系统镜像就是最小安装版的吧

:+1:

这样子试试？当然你的环境变量里要配置好，才能找到php命令

Process process =null;
String command1 = “php ”+"PHP文件地址";
process = Runtime.getRuntime().exec(command1);
process.waitFor();