使用动态分区的方式,导入数据自动分区的时候,分区名字变得很诡异?

问答 suly ⋅ 于 2020-06-21 11:06:10 ⋅ 最后回复由 苏牛 2020-06-21 12:46:45 ⋅ 1319 阅读

思路是这样的:
把nginx日志数据清洗后导入avro表,创建分区表etl_nginx_avro,以month(202005)/day(01)进行分区,创建中间表tmp_etl_nginx_avro不分区,中间表比分区表多了两个字段,month和hour(其实是day创建时没留神);
中间表tmp_etl_nginx_avro:
file
分区表etl_nginx_avro:
file

自动分区:

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table etl_nginx_avro partition(month,day)
select ip,acctime,locations,status,request_body,referer,useragent,osfamily,osname,uafamily,devicetype,month,hour  from tmp_etl_nginx_avro;

然后分区字段:

file

但是分区文件夹变成这样:
file
file

中间表数据正常:

>select ip,acctime,locations,status,request_body,referer,useragent,osfamily,osname,uafamily,devicetype,month,hour  from tmp_etl_nginx_avro  limit 10;

182.254.52.17   20200503    /topics/809 200 -   http://hainiubl.com/topics/809  Browser Windows Windows 7   Firefox unknown 202005  03
182.254.52.17   20200503    /topics/124?page%3D1    200 -   http://hainiubl.com/topics/124?page%3D1 Browser Windows Windows 7   Firefox unknown 202005  03

自动分区完后 分区表数据正常:

             > select * from etl_nginx_avro limit 10;
OK
123.4.226.100   20200501    /topics/44  200 -   http://www.hainiubl.com/    Browser Windows Windows Chrome  unknown 202005  01
123.4.226.100   20200501    /topics/181 301 -   http://www.hainiubl.com/    Browser Windows Windows Chrome  unknown 202005  01
123.4.226.100   20200501    /topics/181 200 -   http://www.hainiubl.com/    Browser Windows Windows Chrome  unknown 202005  01
123.4.226.100   20200501    /topics/182 301 -   http://www.hainiubl.com/    Browser Windows Windows Chrome  unknown 202005  01
123.4.226.100   20200501    /topics/182 200 -   http://www.hainiubl.com/    Browser Windows Windows Chrome  unknown 202005  01

就是这个分区名字有点辣眼睛,百思不得其解

成为第一个点赞的人吧 :bowtie:
回复数量: 1
  • 苏牛
    2020-06-21 12:46:45

    动态分区因为不指定location所以分区在hdfs上显示的就是这样的 这个不耽误事 只要是分区格式操持一致即可 具体使用什么格式都无所谓

暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
Ctrl+Enter