登录前需要用户名和密码

先创建df 用df.pivot的api构造pivot_table 这样既可以用df的方法也可以用pivot_table的方法 同时和操作普通df没区别

@东兴 file.buffer 这个已经到了数据落地的时候了 不用占那么多内存 io一般都是缓冲区策略

先把时间变成整数 用整数加减法 然后再转回时间格式 时间加减没有对应的函数 当然也可以自己写一个

自己手动处理

只要不报错都没有啥问题吧

统计学是数据分析的基础，建议多看一下统计学基础，spark只是一个很普通的工具而已，数据分析积累的是经验和思路，基于R、python的很多数据分析的工具都比spark好用，所以不要纠结于spark，python和r在数据分析领域才是王者

python可以用pickle

用cdh的spark搭建

stackoverflow，spark社区应该也没几个人处理Windows相关的问题吧 建议以linux为准

这个你可以自己拿两个表测一下 具体情况具体分析