reducerbykey 的使用问题?

问答 岁月流年 ⋅ 于 2021-06-07 15:10:31 ⋅ 最后回复由 青牛 2021-06-07 22:01:39 ⋅ 1391 阅读

我定义了20个Long 类型的变量 ,如何定义才能用reducerbykey ,每个字段不能丢 后期要对 时间段,批次,和全部进行统计
我自己定义了一个但是报错

  JavaPairDStream<Long, Tuple19<Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long>> tatoalOrMmeReivers = transform.mapPartitionsToPair(m -> {
            List<Tuple2<Long,Tuple19<Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long>>> outList = new LinkedList<>();
            while (m.hasNext()) {
                String next = m.next();
                outList.add(new Tuple2<Long, Tuple19<Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long>>
                        (1L, new Tuple19<Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long>
                                (1L, 1L, 1L, 1L, 1L, 1L, 11L, 11L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L)));
            }
            return outList.iterator();
        });
        JavaDStream<String> allTime = tatoalOrMmeReivers
                .reduceByKey((r1, r2) -> r1 + r2)
                .repartition(1)
                .mapPartitions(m -> {
                    StringBuilder builder = new StringBuilder();
                    LinkedList<String> strings = new LinkedList<>();
                    while (m.hasNext()) {
                        Tuple2<Long, Tuple19<Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long, Long>> next = m.next();
                        builder.append("省份编码:")
                                .append(cityName)
                                .append("\t")
                                .append("数据时间区间:")
                                .append(next._1)
                                .append("\t")
                                .append("数量:")
                                .append(next._2)
                                .append("\t")
                                .append("有效数量:")
                                .append(next._2);
                        strings.add(builder.toString());
                        builder.setLength(0);
                    }
                    return strings.iterator();
                });
            报错位置
            ![file](http://hainiubl.com/uploads/images/202106/07/4428/fMP92fckAY.png)
            求大神解惑
回复数量: 12
  • 犀牛
    2021-06-07 15:35:52

    @忘尘 你是要把两个tuple相加吗?r1咋能加r2呢,你是不是要这个tuple里的某个元素相加。

  • 岁月流年
    2021-06-07 15:38:29

    @犀牛 那个Tuple2的第一个是unix时间,是想按照时间分组 然后后边的19个Long对应相加

  • 犀牛
    2021-06-07 15:46:04

    @赵震 r1和r2进去的实际是tuple19类型的,直接叫他俩相加肯定不行吧

  • 岁月流年
    2021-06-07 15:47:27

    @犀牛 那这个怎么定义呀 有其他方式么?老师

  • 犀牛
    2021-06-07 15:48:45

    @赵震 把你19个字段封装成一个对象,然后点出来里面的每一个属性再操作

  • 岁月流年
    2021-06-07 15:49:31

    @犀牛 好的 谢谢老师

  • 岁月流年
    2021-06-07 16:00:16

    @犀牛 老师 这个对象可以相加么,他这个定义需要19个字段分别相加

  • 犀牛
    2021-06-07 16:03:06

    @赵震 比如你定义成对象了,就可以用r1.field1+r2.field2了,而不能直接对象相加,除非你对象里重写了+方法。

  • 岁月流年
    2021-06-07 16:08:23

    @犀牛 好的我试试 谢谢老师

  • 忘尘
    2021-06-07 21:28:48

    @犀牛 为啥突然在这里艾特我了,一脸懵逼~

  • 犀牛
    2021-06-07 22:00:39

    @忘尘 误伤 误伤😄 走火了

  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2021-06-07 22:01:39

    @忘尘 :no_mouth: 是这个表情吗?

暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
Ctrl+Enter