storm可不可以实时处理时间段的数据?比如实时处理三分钟内的数据,我想到的是把这三分钟的数据缓存起来,处理好了再释放资源,这个缓存是怎么做的?有没有更好的办法
storm可不可以实时处理时间段的数据?比如实时处理三分钟内的数据,我想到的是把这三分钟的数据缓存起来,处理好了再释放资源,这个缓存是怎么做的?有没有更好的办法
记住处部缓存吧,redis或者hbase都可以。话说这种需求用spark streaming多好
@韦晓阳 你那么大的数据放到map里也不能毫秒级了吧,要是百万级的数据到可以试试,超过这个级别就用外部存储吧,hbase大批量读写的时候就不能毫秒级的了,nosql库复杂查询的能力差些,需要自己提前设计好满足所有查询条件的KV,storm不也支持窗口排序吗。大量数据一次性插入redis要使用pipeline的方式。你几千条、几万条的数据量不大插入redis挺快的。主要看redis存储的总量有多大,太大了性能指定会受影响,所以尽可能用节省内存的方式往redis里存数据,给redis开足够大的内存,让数据都缓存在内存里,这样性能才是最好的。