把.hadoop去了，只留nn1

@kkone 你对应的机器设置成什么host镜像启动的时候该机器就给你使用什么host，host要与hadoop配置文件中的匹配不然启动会报错

发现不对应可以打开镜像详情点击修改

可以，1个月之后上线

能，但是很慢，你至少需要30核 60G内存

• 第一个问题：pipeline指定在第一个datanode上，因为当数据写入过程中，Pipeline负责将数据流传输到各个DataNode。每个DataNode都有一个ACK Queue，用于存储其他DataNode对于收到数据的确认（ACK）信息。在Pipeline的第一个DataNode上维护ACK Queue是为了能够追踪数据流在Pipeline中的状态。也就是说其它DataNode的数据写入是由第一个DataNode跟踪的，如果在客户端上那在有一个写入请求的时候还好，如果是大量并发的时候客户端就容易形成瓶颈了，就会影像写入效率，大数据组件都是分布式的，所以架构设计上都尽量考虑单点问题，那自然不可能是在客户端上。
• 第二个问题：数据可能会重发，但是这么做保存数据不丢失，不用担心数据重复问题，因为HDFS客户端和DataNode之间会使用序列号等机制来确保数据的有序传输，并且已经确认过的数据不会重复发送。

@Arturo 看样子是老粉了，欢迎介绍其它人一起来用

用我们的VPN客户端，需要付费，价格参考这里http://www.hainiubl.com/topics/76255

http://www.hainiubl.com/topics/76283

@被遗忘的十七 而且spark优化必须从java底层考虑

@被遗忘的十七 学spark之前先前一下scala，spark是用scala写的

python是个很好的工具语言可以用作补充学习，在大数据方面不要做为主语言去学习

毫无疑问是java，因为大数据体系所有系统是以java为基础语言打造的，所以学java不仅更方便的做大数据开发工作（因为有java原生的api支持），还能让你更好的去理解原理解决问题等等（因为你会java能看懂源码）。

用数据平台根据项目要求，有的项目要求稳定性高就用，因为大数据平台做好了各组件集成就已经把兼容性问题解决了，这样会少很多麻烦。当然公司得额外花钱买这种平台，所以说一般不差钱图省事的公司都会用。当然很多公司都选择剩下这笔钱选择开源的自己去集成，然后再找专业的技术人员去弄。
存储数据量和内存 CPU关系小和硬盘关系大，NameNode节点内存给大点加上大硬盘就可以存储大量数据了，但是你其他节点内存和CPU少会算的慢但是不影响存
总数据量乘以三倍去评估存储空间，总CPU核或内存乘以2倍 取两者最大值去评估算力，所以自己根据单台机器的算力和存储去评估一下

因为有实验正在启动中，你等一会就好了