在实际工作中多少数据量需要用到大数据平台?

问答 湛蓝枫铃 ⋅ 于 2023-10-13 10:43:55 ⋅ 最后回复由 Jane 2023-11-03 16:09:27 ⋅ 615 阅读

在实际工作中多少数据量需要用到大数据平台?怎么评估需要多少台机器呢,比如我3台8核CPU,16G内存的机器,大概可以支持多少数据量

回复数量: 2
  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2023-10-13 13:14:50

    用数据平台根据项目要求,有的项目要求稳定性高就用,因为大数据平台做好了各组件集成就已经把兼容性问题解决了,这样会少很多麻烦。当然公司得额外花钱买这种平台,所以说一般不差钱图省事的公司都会用。当然很多公司都选择剩下这笔钱选择开源的自己去集成,然后再找专业的技术人员去弄。
    存储数据量和内存 CPU关系小和硬盘关系大,NameNode节点内存给大点加上大硬盘就可以存储大量数据了,但是你其他节点内存和CPU少会算的慢但是不影响存
    总数据量乘以三倍去评估存储空间,总CPU核或内存乘以2倍 取两者最大值去评估算力,所以自己根据单台机器的算力和存储去评估一下

  • Jane
    2023-11-03 16:09:27

    问题不错

暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
Ctrl+Enter