在实际工作中多少数据量需要用到大数据平台？

问答 ⋅ 湛蓝枫铃 ⋅ 于 2023-10-13 10:43:55 ⋅ 最后回复由 Jane 于 2023-11-03 16:09:27 ⋅ 443 阅读

在实际工作中多少数据量需要用到大数据平台？怎么评估需要多少台机器呢，比如我3台8核CPU，16G内存的机器，大概可以支持多少数据量

回复数量: 2

青牛国内首批大数据从业者，就职于金山，担任大数据团队核心研发工程师
⋅ 2023-10-13 13:14:50

用数据平台根据项目要求，有的项目要求稳定性高就用，因为大数据平台做好了各组件集成就已经把兼容性问题解决了，这样会少很多麻烦。当然公司得额外花钱买这种平台，所以说一般不差钱图省事的公司都会用。当然很多公司都选择剩下这笔钱选择开源的自己去集成，然后再找专业的技术人员去弄。
存储数据量和内存 CPU关系小和硬盘关系大，NameNode节点内存给大点加上大硬盘就可以存储大量数据了，但是你其他节点内存和CPU少会算的慢但是不影响存
总数据量乘以三倍去评估存储空间，总CPU核或内存乘以2倍取两者最大值去评估算力，所以自己根据单台机器的算力和存储去评估一下

Jane
⋅ 2023-11-03 16:09:27

问题不错

请注意单词拼写，以及中英文排版，参考此页
支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
支持表情，可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif，教程
发布框支持本地存储功能，会在内容变更时保存，「提交」按钮点击时清空

Ctrl+Enter