[教程] StructuredStreaming 教程(一套课程全面了解 spark 流式计算的新篇章)

教程 青牛 ⋅ 于 2023-06-01 22:59:42 ⋅ 最后回复由 longdpt 2023-07-03 14:44:29 ⋅ 2568 阅读

Structured-Streaming是基于SparkSQL引擎构建的可扩展和容错流处理引擎。计算在同一个优化的SparkSQL引擎上执行。最后,系统通过检查点和预写日志确保端到端一次容错保证。简而言之,结构化流提供了快速、可扩展、容错、端到端的一次流处理。

前置知识:
Linux基础、Scala基础、Spark基础、SparkStreaming基础、SparkSQL基础

课程视频链接:https://www.bilibili.com/video/BV1uX4y187ub
配套笔记课件地址:

  1. 概念和数据源:http://www.hainiubl.com/topics/76288
  2. watermark 和 join:http://www.hainiubl.com/topics/76287
  3. sink 部分:http://www.hainiubl.com/topics/76289

Word版笔记下载地址:http://www.hainiubl.com/topics/76349

本课程中使用的海汼部落实验室大数据实操云平台使用教程:https://www.bilibili.com/video/BV12W4y1p7Fr

file
file

版权声明:原创作品,允许转载,转载时务必以超链接的形式表明出处和作者信息。否则将追究法律责任。来自海汼部落-青牛,http://hainiubl.com/topics/76348
本帖已被设为精华帖!
本帖由 青牛 于 7月前 置顶
回复数量: 3
暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
Ctrl+Enter