doublek

第 4186 位会员
注册于 2020-06-02 10:37:49
活跃于 2021-06-10 17:19:28


  • 怎么制作拉链表? at 2021-06-02 14:54:01

    @犀牛
    --变化数据
    SELECT
    cod_cust_id
    ,amt_credit_new
    ,dat_create
    FROM (
    SELECT
    cod_cust_id
    ,amt_credit_new
    ,dat_create
    ,ROW_NUMBER()
    OVER (PARTITION BY cod_cust_id,SUBSTRING(dat_create,1,10) ORDER BY dat_create DESC ) AS rn--如果客户在同一天多次申请通过,则取日期最大那次
    FROM thai_dw.snap_cmisdb_cmis_card_limit_change
    WHERE flg_status_apply =8
    )
    WHERE rn =1
    ;

    --没有发生变化的数据
    SELECT
    p2.cod_cust_id
    ,p2.amt_credit
    ,p2.dat_create
    FROM (
    SELECT
    cod_cust_id
    ,amt_credit_new
    FROM (
    SELECT
    cod_cust_id
    ,amt_credit_new
    ,dat_create
    ,ROW_NUMBER()
    OVER (PARTITION BY cod_cust_id,SUBSTRING(dat_create,1,10) ORDER BY dat_create DESC ) AS rn--如果客户在同一天多次申请通过,则取日期最大那次
    FROM thai_dw.snap_cmisdb_cmis_card_limit_change
    WHERE flg_status_apply =8
    )
    WHERE rn =1
    ) p1
    RIGHT JOIN (
    SELECT
    cod_cust_id
    ,amt_credit
    ,dat_create
    FROM thai_dw.snap_cmisdb_cmis_card_apply
    WHERE flg_status_apply =8
    ) p2
    ON p1.cod_cust_id = p2.cod_cust_id
    WHERE p1.cod_cust_id IS NULL
    ;

    我以数据创建时间dat_create作为starttime,什么为endtime呢?没有发生变化的数据mark都是i,发生变化的数据mark都是u可以吗?因为不会有数据被删除

  • 怎么制作拉链表? at 2021-06-02 11:56:00

    @犀牛 感谢 我尝试实现一下

  • 在集群上跑 avroToavro 的 jar 包报错? at 2020-07-20 09:38:21

    同样是格式类型转换。orc转为hfile也不用reduce聚合,为何不设置reduce数量为0也不报错呢?

    file

  • 在集群上跑 avroToavro 的 jar 包报错? at 2020-07-20 09:35:44

    已解决,reduce数量设置为0

    file

  • 在集群上跑 avroToavro 的 jar 包报错? at 2020-07-19 21:35:51

    @苏牛

    file本地跑也是同样错误

  • 跑 mapreduce 任务时有一个 reduce 失败导致任务一直 running? at 2020-07-18 11:09:38

    通过-D参数传递zk地址已解决问题

  • 信息被删除或无权限查看
  • java 连接 hbase 报错? at 2020-06-09 21:05:59

    已解决 host文件出错

  • 信息被删除或无权限查看