大数据开发工程师  25-35K(北京)

JD 外向或闪灵 ⋅ 于 2024-01-25 16:13:00 ⋅ 306 阅读

岗位职责:

  1. 参与公司实时数据应用业务的落地;
  2. 负责实时数据的开发、维护及统一性建设;
  3. 负责标签系统、变量体系、知识图谱等系统的迭代.深入业务,为业务数据赋能;
  4. 参与公司实时数据体系建设,保障实时体系数据的准确性、一致性、稳定性;

任职要求:

  1. 了解流式计算和实时数据处理技术,如Flink、Storm、Spark等。能够设计和实现实时数据处理和流式计算流程。
  2. 能够对流式引擎进行深入优化和性能调优,解决生产环境中出现的各种性能问题,能够根据业务需求定制化开发相关组件。
  3. 对Hadoop集群的安全、稳定性、高可用性等方面有深入的了解和实践经验,能够应对大规模、高并发、复杂业务场景的需求。
  4. 能够对Spark进行深入优化和调优,解决Spark运行中的各种性能问题,熟悉Spark的高级特性,如Spark Streaming、Spark SQL等。
  5. 能够使用Flink进行高级的数据处理,包括窗口计算、状态管理、迭代计算等操作,能够优化Flink程序的性能,并能够进行故障排查和调试。
  6. 具备在高并发场景下搭建和维护OLAP系统的能力,能够进行系统性能调优,对于数据治理有一定的实践经验,能够解决常见的OLAP系统问题。
  7. 具备标签系统、特征系统、图计算的实际经验。
版权声明:原创作品,允许转载,转载时务必以超链接的形式表明出处和作者信息。否则将追究法律责任。来自海汼部落-外向或闪灵,http://hainiubl.com/topics/76436
成为第一个点赞的人吧 :bowtie:
回复数量: 0
    暂无评论~~
    • 请注意单词拼写,以及中英文排版,参考此页
    • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
    • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
    • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
    • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
    Ctrl+Enter