oracle日志数据采用什么技术处理?

问答 迪乔 ⋅ 于 2018-06-09 16:53:04 ⋅ 最后回复由 青牛 2018-06-13 19:50:42 ⋅ 1978 阅读

现状:应用是负责订单流程管理,同时还要将一些数据实时同步给外围系统,同时需要提供查询和统计报表的功能,这些模块在一起会影响订单的流转,数据库Oracle压力较大。
需求:现在想要将数据同步和查询报表的功能单独作为一个应用,数据采集通过OGG+KAFKA,然后应用读取KAFKA中的消息,(快速解析消息,根据指标和报表的条件来校验数据是否匹配,然后将统计数据存入redis中),对于需要同步给外围系统的数据则通过接口表+OGG形式。

疑问:从Kafka中消费ogg的消息,对消息进行加工处理采用什么技术?将报表统计数据存入redis中是否合理, 大数据对此是否适用。

恳请各位仁兄提供建议。

成为第一个点赞的人吧 :bowtie:
回复数量: 1
  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2018-06-13 19:50:42

    大量的数据加工可以使用spark或者mapreduce,kafka消费可以使用流式计算spark-streaming或者storm。报表数据一定存到关系型数据库这样可以使用SQL灵活方便查询。你使用nosql库要存多纬度的数据就会有大量冗余。

暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
Ctrl+Enter