先找最外层的sql关系，找到from后面的表名或select数据集，如果是select就继续找其from，直到找到表名为止

着重看下分区表这个笔记
普通表加where条件查询，翻译成mr后输入目录就是表目录
分区表，加where条件查询输入目录是指定表分区的目录
比如，分区表按照年龄分区，这时查询年龄等于10时，相当于输入目录是10岁分区对应的hdfs目录，这样不会扫描整个表

看启动的脚本，底层读取了slaves配置文件

1 查看下service是否能连接到数据库，如果能连上，说明可以查询并返回数据信息
2 查看nginx是否有日志，如果日志能顺利输出，说明nginx没问题
3 查看tomcat的日志是否有报错信息，分析报错信息来解决

tomcat 重复启动，用root用户检查tomcat进程，并kill掉即可

咱们一直都在用hainiu队列，在调度器配置中也有配置

1）用Navicat 连接下数据库，看是否能连接成功
2）看报表对应的tomcat 日志是否启动成功
3）检查配置的连接是否正确

是 7.0/4, 不是 7.0/4.0 , 4 没有转成4.0

同学，执行时，先把7转成double，然后再除以4

创建avro表可以用schema文件创建，也可以用字段的方式创建，这种方式可以不用指定是schema

在windows本地创建localhost的hive
给该hive用户赋予数据库的所有权限

MySQL会忽略尾部空格， 所以比较都一样

spark 运行task之前，已经按照申请的资源开启了Executor，执行完再释放资源
每提交一次应用程序，会根据申请的资源来开启Executor，一般为了保证资源均衡，会一个worker开启一个Execuor,如果executor 多于worker，那会有一个worker开启多个executor情况。
如果一个worker5个G， 5个核，分配1G1核资源进行计算，该worker的其他资源就闲置，总结下来是用多少申请多少

查看是否在hbase-site. xml 中增加root path
可以在get Root Dir方法处打断点看看

1）先看看是把代码根目录添加到sys.path中
2）pip list 查看 是否安装 MySQL-python
3）查看数据库连接配置是否正确
4）用普通代码调用db_util.py 查询MySQL数据库，看是否能查询成功

@AIZero 我们归集日志，只是按照小时归集即可，不用管当前小时内的文件数据和目录的关系，因为数据处理出报表是按照每条记录的业务时间。

重点研究下taildir 源的使用 和 hdfs sink的使用， hdfs sink配置时，可以配置按照天，小时滚动生成日志，如：
a1.sinks.k1.hdfs.path = hdfs://ns1/user/hadoop/access/%Y/%m%d/%H
每个参数是干什么的，你可以参考flume官方文档
http://flume.apache.org/FlumeUserGuide.html#hdfs-sink

先用db_test.py 做数据连接的简单测试，看是否能连接上

SQL语句字符串中增加了 #一个sql， sql语法报错

按照数值排序即可