Oracle、SQL、Mongodb这些对实时性要求比较强的和hadoop的设计初衷有些不一样，这些实时数据处理是OLTP的场景，hadoop是OLAP的数据场景，所以你可以认为不支持替代，但是可以和hadoop配合使用

生态系统，顾名思义就是很多组件组成的一个生态链，经过多年的发展，Hadoop生态系统不断完善和成熟，目前已经包括了多个子项目，除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括要ZoopKer、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。这些组件几乎覆盖了目前业界对数据处理的所有场景。

time.localtime()不就是当地时间吗

端口自己定就行了 不被占用就可以 最好有规律可循

集群模式提交不起作用？是没有调用还是调用报错了？

pandas 比较灵活 可以认为什么都能干
kettle/Informatica 更侧重数据表的处理 对sql语句支持比较好

为什么要这么做 有具体例子吗

输入字符串’2c‘试一下

如果A表和B表没法关联 是不可能用sql完成的

从pandas自己取就行了 自己写 不用现成的方法

两层for循环就行了，每一次取一个和其他的所有的比较，如果不相同，就保留

贴一个代码把

Spark和flink还有 其他分布式计算系统都有一种切分的思想：把一个超大的数据集，分成N个小堆，找M个执行器（M < N），各自拿一块或多块数据慢慢玩，玩出结果了再收集在一起，这就算执行完啦。spark无论处理什么数据先整成一个拥有多个分块的数据集再说，这个数据集就叫RDD

这和你的查询字段有关
select id,name from user where name='shenjian';　假如这个表上有主键索引id 还有另外一个索引在name字段上，
这时候这个查询是不用回表的 因为name上的索引+主键索引就能返回要查询的id name两个字段了，不需要回表了，
假如你的查询多了几个字段select id,name，sex，address from user where name='shenjian'; 这个时候sex，address 必须要回表查了

一般返回string把 拿到以后再转为json