海牛部落本着交流学习大数据的目的请到来自金山的青牛大神给大家进行大数据知识的阳光普照,本次公开课的主要目的是帮助大数据技术初学者,让其增加对大数据概念的认知、了解大数据技术生态体系的组成并通过一个简单的大数据项目流程介绍一下大数据处理的整个过程,让大家丰富一下大数据的知识,不管从业务上和技术都得到进一步的提高。
公开课直播时间
2月16号、19号、22号、25号、28号晚上的20点到21点
课程目录
第一天、大数据那些事
- 什么是大数据
- 为什么用大数据
- 大数据的应用案例
第二天、平台架构及常用组件
- 数据处理的主要流程
- 大数据平台构架示例
- 常见组件介绍
第三天、项目实战之数据集成
- 介绍百度统计
- 数据上报和接收原理
- 搭建nginx
- 讲解切割日志脚本
- 配置定时任务
- ETL
第四天、项目实战之数据统计
- mr方式
- hive方式
第五天、项目实战之数据展现
- 数据导出到mysql
- 报表展现