storm 可不可以实时处理时间段的数据?

问答 韦晓阳 ⋅ 于 2018-05-24 14:59:38 ⋅ 最后回复由 韦晓阳 2018-05-26 15:40:57 ⋅ 2518 阅读

storm可不可以实时处理时间段的数据?比如实时处理三分钟内的数据,我想到的是把这三分钟的数据缓存起来,处理好了再释放资源,这个缓存是怎么做的?有没有更好的办法

成为第一个点赞的人吧 :bowtie:
回复数量: 6
  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2018-05-24 19:26:32

    记住处部缓存吧,redis或者hbase都可以。话说这种需求用spark streaming多好

  • 韦晓阳
    2018-05-25 09:09:49

    @青牛 我是想放在map集合里进行缓存。hbase需要大批量读写,实时性能够满足要求吗,要求毫秒级别?redis能够满足复杂的查询吗,比如排序。如果放在数据库里进行缓存,在读写数据库,都耦合到storm里面吗,业务流程是不是有点复杂了

  • 韦晓阳
    2018-05-25 09:11:43

    @青牛 几千条、几万条的数据怎么往redis里插,redis改怎么设计

  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2018-05-25 12:14:09

    @韦晓阳 你那么大的数据放到map里也不能毫秒级了吧,要是百万级的数据到可以试试,超过这个级别就用外部存储吧,hbase大批量读写的时候就不能毫秒级的了,nosql库复杂查询的能力差些,需要自己提前设计好满足所有查询条件的KV,storm不也支持窗口排序吗。大量数据一次性插入redis要使用pipeline的方式。你几千条、几万条的数据量不大插入redis挺快的。主要看redis存储的总量有多大,太大了性能指定会受影响,所以尽可能用节省内存的方式往redis里存数据,给redis开足够大的内存,让数据都缓存在内存里,这样性能才是最好的。

  • 韦晓阳
    2018-05-25 14:35:16

    @青牛 好的,谢谢。数据量倒是不大,每秒几千、几万条。map和redis两种我都试一下

  • 韦晓阳
    2018-05-26 15:40:57

    @青牛 难题用storm的滑动和滚动窗口机制解决了,太感谢你了,特意来跟你说一声谢谢,谢谢!

暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
Ctrl+Enter