提问关于 5 分钟数据存储的问题?

问答 ⋅ ruiqi ⋅ 于 2018-05-21 15:08:48 ⋅ 最后回复由 ruiqi 于 2018-05-21 17:22:06 ⋅ 2533 阅读

想问下。我们现在有个需求。是处理5分钟的计算程序，在java中实现，现在发现设计方案是放在map中，但是5分钟的数据量都有好几十G 基本上维持在60G,这样的话我们程序配置的是128的内存老年代直接拿去70G剩下的在执行其他的成程序操作内存就不够用了。想请问下这个大家有没有好的方案解决这个问题。有什么可靠性强的key-value形式的比map占用内存少的形式。

成为第一个点赞的人吧

回复数量: 6

青牛国内首批大数据从业者，就职于金山，担任大数据团队核心研发工程师
⋅ 2018-05-21 17:10:55

为啥不用分布式计算比如spark?
ruiqi
⋅ 2018-05-21 17:12:37

@青牛因为是从c 客户端发送过来的。那边是通过socket发过来的。我们直接用java接收的
ruiqi
⋅ 2018-05-21 17:16:58

@青牛尴尬了。好像spark也可以直接从socket接收数据。。谢谢我去查查相关资料
青牛国内首批大数据从业者，就职于金山，担任大数据团队核心研发工程师
⋅ 2018-05-21 17:18:44

@ruiqi 落成文件呗，存到集群上。或者那边写到kafka里，这边用流式处理，这样就不用攒太多数据一起算了
青牛国内首批大数据从业者，就职于金山，担任大数据团队核心研发工程师
⋅ 2018-05-21 17:21:03

@ruiqi 可以spark的streaming支持socket流streamgingContext.socketTextStream(IP，PORT)

ruiqi
⋅ 2018-05-21 17:22:06

@青牛嗯呢好的明白了

请注意单词拼写，以及中英文排版，参考此页
支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
支持表情，可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif，教程
发布框支持本地存储功能，会在内容变更时保存，「提交」按钮点击时清空

Ctrl+Enter

提问关于 5 分钟数据存储的问题?

作者：ruiqi

ruiqi 的其他话题

分类下其他主题

随机推荐话题

提问关于 5 分钟数据存储的问题?

添加附言

作者：ruiqi

ruiqi 的其他话题

分类下其他主题

随机推荐话题