• 第一个问题：pipeline指定在第一个datanode上，因为当数据写入过程中，Pipeline负责将数据流传输到各个DataNode。每个DataNode都有一个ACK Queue，用于存储其他DataNode对于收到数据的确认（ACK）信息。在Pipeline的第一个DataNode上维护ACK Queue是为了能够追踪数据流在Pipeline中的状态。也就是说其它DataNode的数据写入是由第一个DataNode跟踪的，如果在客户端上那在有一个写入请求的时候还好，如果是大量并发的时候客户端就容易形成瓶颈了，就会影像写入效率，大数据组件都是分布式的，所以架构设计上都尽量考虑单点问题，那自然不可能是在客户端上。
• 第二个问题：数据可能会重发，但是这么做保存数据不丢失，不用担心数据重复问题，因为HDFS客户端和DataNode之间会使用序列号等机制来确保数据的有序传输，并且已经确认过的数据不会重复发送。

@Arturo 看样子是老粉了，欢迎介绍其它人一起来用

用我们的VPN客户端，需要付费，价格参考这里http://www.hainiubl.com/topics/76255

http://www.hainiubl.com/topics/76283

@被遗忘的十七 而且spark优化必须从java底层考虑

@被遗忘的十七 学spark之前先前一下scala，spark是用scala写的

python是个很好的工具语言可以用作补充学习，在大数据方面不要做为主语言去学习

毫无疑问是java，因为大数据体系所有系统是以java为基础语言打造的，所以学java不仅更方便的做大数据开发工作（因为有java原生的api支持），还能让你更好的去理解原理解决问题等等（因为你会java能看懂源码）。

用数据平台根据项目要求，有的项目要求稳定性高就用，因为大数据平台做好了各组件集成就已经把兼容性问题解决了，这样会少很多麻烦。当然公司得额外花钱买这种平台，所以说一般不差钱图省事的公司都会用。当然很多公司都选择剩下这笔钱选择开源的自己去集成，然后再找专业的技术人员去弄。
存储数据量和内存 CPU关系小和硬盘关系大，NameNode节点内存给大点加上大硬盘就可以存储大量数据了，但是你其他节点内存和CPU少会算的慢但是不影响存
总数据量乘以三倍去评估存储空间，总CPU核或内存乘以2倍 取两者最大值去评估算力，所以自己根据单台机器的算力和存储去评估一下

因为有实验正在启动中，你等一会就好了

@周照龙 6哥，哈哈白嫖进行到底

对的也是各临时表跑完，再最后跑一个汇总SQL。一个大SQL写完整个的，一来可读性差，二来如果有一个阶段跑错了整体要重跑。

你过了3天适合期了，可以购买资源，如果是学生可以免费申请资源
价格看这里：http://www.hainiubl.com/topics/76255

@flyfish1029 这个程序的本意是通过不断的学习技术，当能力达到100的时候就去工作赚钱，否则就不断的学习增加能力并且在达到一定阶段的时候进行技术分享。在没有达到100能力的时候就不停的递归学习

你说的是我们的VPN功能，这里有功能介绍https://www.bilibili.com/video/BV12W4y1p7Fr?p=35
这个要付费的30元每月

@bigdataLuLu 哈哈，雨露均沾。成年人不选择都要

@suyl http://www.hainiubl.com/topics/76283

http://www.hainiubl.com/topics/76283

这里