那也是别相当是别一个client，比如在filter里直接向agent写数据

首先要知道你现有的和日增长的数据量是多少，然后先解决先有数据量能存下的问题，比如这样的集群你能稳定存一年的数据，你还得考虑有些计算任务的中间结果数据每天有多少，比如日增量的10%。当然计算的中间结果数据可以定期清理掉让其保持一定量级。你还得考虑数据冗余的空间，比如你有3个数据副本，那你的数据使用空间就得乘以3。
集群中的存储结果一般也就是计算节点，所以做存储的服务器一般CPU和内存也不要太差，不然以后指定后悔。
一般的服务器集群的配置推荐16核以上CPU，60G以上内存，2T总数据存储，数据盘不用做raid，因为hadoop有备份数据的功能。网络至少千M以上。

@歌唱祖国 哈哈都localhost了，集群上指定连接不上

报啥错？

是的

看看你输出的key是不是有问题，报错信息是你的文件没排序对

threadlocal更安全一些吧

@歌唱祖国 不会锁表，不建议给更高权限，读取的那就用只读就行了

<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-lang3</artifactId>
    <version>3.7</version>
</dependency>

加个这个试试？

执行mapper的那台机器不能连接你的mysql库，看一下是不是test用户限制了访问IP

看一下你关闭的那个KMS 服务启动成功了吧？

权限不允许

spark是支持python的， pySpark

R是统计学语言，学R不在于语言，在于是否精通统计学。搞大数据还是要学学scala。python有很多机器学习的包。

迭代运算不Shuffle的时候速度快，当运算数据大于内存时，数据频繁写入磁盘，这时候实际上和hadoop差不多了。所以spark替代hadoop不是绝对的，只是在特定场景