大数据平台概述

文章 犀牛 ⋅ 于 2021-06-04 15:20:05 ⋅ 231 阅读

主流大数据平台介绍

  • CDH(Cloudera Distribution Hadoop)

由Cloudera公司开发,有开源版本与商业版本,Cloudera公司2018年和hortonworks公司合并,较为出名的贡献为impala是由Cloudera公司开源贡献给Apache基金会。大数据平台在国内各大企业中应用广泛,甚至开源版本在很多公司中都较为常见,是较为受欢迎的大数据平台之一。

  • CDP

是CDH平台的升级版,较为明显的升级动作将权限管理由sentry更改为ranger,增加flink组件parcel包,不用用户自己集成,可直接安装。

  • TDH(Transwarp Data Hub)

是星环科技推出的一款大数据平台,是国内首款发行版大数据平台,是国内领先的大数据平台,没有开源版本,突出特点:

  1. 对hive高度封装,推出incepter,在性能上相比hive得到明显提升,但是强制分桶,以及事务表等特性。

  2. 对hbase高度封装,推出hyperbase,支持SQL查询,对二级索引支持较好。
  • FI HD&FI MRS

由华为公司开发,较早版本为fusioninsight HD,后推出fusioninsight MRS,是当前较为成熟且在mpp数据库与混合计算领域较为领先的大数据平台,突出特点:

  1. HD版本中的随机读写数据库为ELK(这个ELK不是es生态的elk,是一个单纯的数据库)

  2. 将kettle进行封装优化,推出loader数据加载组件

  3. 推出国产mpp架构数据库gaussdb 100、gaussdb 200、gaussdb 300
  4. 独有small file小文件管理组件
  5. hetu engine跨源计算
  • 飞天大数据平台

阿里大数据平台,突出特点maxcompute离线分析模块,flink实时计算引擎,并且做了大量优化与新功能开发。

版权声明:原创作品,允许转载,转载时务必以超链接的形式表明出处和作者信息。否则将追究法律责任。来自海牛部落-犀牛,http://hainiubl.com/topics/75617
成为第一个点赞的人吧 :bowtie:
回复数量: 0
    暂无评论~~
    • 请注意单词拼写,以及中英文排版,参考此页
    • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
    • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
    • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
    • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
    Ctrl+Enter