在集群上跑 avroToavro 的 jar 包报错？

问答 ⋅ doublek ⋅ 于 2020-07-19 20:53:25 ⋅ 最后回复由 doublek 于 2020-07-20 09:38:22 ⋅ 1480 阅读

报错日志 file
代码导入的包 file
代码 file
avsc文件 file
avrojar包更换为1.7.7，hive-execjar也有 file

成为第一个点赞的人吧

回复数量: 4

苏牛
⋅ 2020-07-19 21:06:54

根据错误提示显示io异常可以将测试数据放在本地环境测试通过后再检查是否是集群有问题
doublek
⋅ 2020-07-19 21:35:51

@苏牛

本地跑也是同样错误
doublek
⋅ 2020-07-20 09:35:44

已解决，reduce数量设置为0

doublek
⋅ 2020-07-20 09:38:21

同样是格式类型转换。orc转为hfile也不用reduce聚合，为何不设置reduce数量为0也不报错呢？

请注意单词拼写，以及中英文排版，参考此页
支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
支持表情，可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif，教程
发布框支持本地存储功能，会在内容变更时保存，「提交」按钮点击时清空

Ctrl+Enter