变成RDD: [String_String, int],用前2个String组合成一个key,然后只进行一次groupBy
国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
最近话题
- 公开课回放
- [B 站公开课] 可视化数据大屏设计
- [B 站公开课] CDH 集群扩容
- [B 站公开课] Kafka 的多种认证方式和信道加密
- [B 站公开课] Kafka 新特性和动态扩容
- [B 站公开课] Flume 多节点海量数据采集解决方案
- [B 站公开课] Hive 高可用架构如何设计?
- [B 站公开课] MySQL 数据同步与高可用架构设计
- [B 站公开课] 亿级 HBase 数据迁移解决方案
- [B 站公开课] 多 Hadoop 集群间如何做数据迁移
- [B 站公开课] 玩转数仓如此简单
- [公开课直播预告] 可视化数据大屏设计(12月21日)
- [公开课直播预告] CDH 集群扩容(12月14日)
- [公开课直播预告] kafka 的多种认证方式和信道加密(12月7日)
- [公开课直播预告] kafka 新特性和动态扩容(11月 30日)
- [公开课直播预告] Flume 多节点海量数据采集解决方案(11月23日)
- [公开课直播预告] Hive 高可用架构如何设计?(11月15日)
- [公开课直播预告] MySQL 数据同步与高可用架构设计(11月9日)
- [公开课直播预告] 亿级 HBase 数据迁移解决方案(11月4日)
- [公开课直播预告] 多 Hadoop 集群间如何做数据迁移(11月1日)
最新评论
- 请问在 Spark 里先对字段一分组,再对字段二分组应该如何实现?
- RDD 编程第三问代码存在问题?
- Spark local 模式是否需要安装 Spark 集群?
- RDD 编程第三问代码存在问题?
- 请问 XFCE 桌面环境的 Hadoop 安装在哪个目录下?
- 请问 XFCE 桌面环境的 Hadoop 安装在哪个目录下?
- 请问 XFCE 桌面环境的 Hadoop 安装在哪个目录下?
- 如何删除已安装软件的压缩包?
- spark 使用的是 local 模式,在临时桌面上内存不足,请问应该如何修改?
- spark 使用的是 local 模式,在临时桌面上内存不足,请问应该如何修改?
- spark 使用的是 local 模式,在临时桌面上内存不足,请问应该如何修改?
- spark 使用的是 local 模式,在临时桌面上内存不足,请问应该如何修改?
- spark 使用的是 local 模式,在临时桌面上内存不足,请问应该如何修改?
- spark-submit 提交无法连接 master?
- 在启动镜像时,host 与 hostname 不对应?
- 在启动镜像时,host 与 hostname 不对应?
- 可不可以 Web 上搞个上商店,方便购买 VPN 和扩容资源
- 使用云平台 Spark 的默认配置可以支持百万级大数据的处理吗?
- datanode 挂了?
- [下载]【海牛大数据】大数据面试宝典