把privilege的result属性值和data的值打出来看看

看要用spark干嘛了 如果写算法 确实很少用scala的api 但是如果做数据处理 scala那些api是必学的
当然一般的企业写算法的也要学会自己做数据处理和etl

先写一个sql再解释
select * from comment where id in(select max(id) from comment group by user_id) order by user_id;
select max(id) from comment group by user_id 根据userid分组 取组内id最大的即是最新的
然后在表中取这些id对应的行 即为要取的最新的行

目前主流的python是python3 所有的大数据组件都支持python接口的调用 就像很多c组件支持java开发一样

mp4这种大块的文件最好存到hdfs中，尤其是存完了不修改这种需求 hdfs是最好的选择

本地的处理的话 spark不是最合适的把 分布式处理数据的起点其实是TB级 少量的话体现不出来优势

会啊 本地处理的话没必要用spark 20g的数据用别的方法也行 只要你有足够的计算资源的话，spark的强大之处在于处理tb或是pb的数据，也就是单机处理不了的数据

pyspark的本质是local运算的 我不太清楚你说的矩阵并行是自己写的 还是调用python现成的 自己写的话应该不会有问题 调用现成的有问题 因为会在每个节点上本地上运行 并没有并行

主流数据处理工具 现在数据处理标配 如果不会这个就和现在支付不用手机一样尴尬

Hadoop2.7以后就行了

什么场景？处理什么样的数据？

来个demo为：
给定迭代初始值 (0, 0)。 元组 第一个记录分数，第二个记录数据条数
输入的数据，获取分数，累加到迭代值元组的第一个元素中，迭代值元组的第二个值记录条数加1 。
每一个分区迭代完毕后，各分区的迭代值合并成最终的迭代值
对最终的迭代处理，获取最终的输出结果。
所以说API说是合并累加器，就是要组内先合并在累加

写个python脚本处理一下吧 读取每个文件名和文件内容 这个用正则可能比较费劲，确实应该考虑换一个思路，当然不是正则实现不了 如果时间比较紧就换个思路把

每天都在做etl， 工作强度看不同项目进度把 不会一直忙 但是一个月至少有80%的时间是在忙的

不同任务 不同资源 时间不一样