TL Flink基础教程(pdf)
前言 ..............................................................................................................................ix
第 1 章 为何选择 Flink ......................................................................................... 1
1.1 流处理欠佳的后果 ......................................................................................... 2
1.1.1 零售业和市场营销 ............................................................................ 2
1.1.2 物联网 ................................................................................................ 3
1.1.3 电信业 ................................................................................................ 5
1.1.4 银行和金融业 .................................................................................... 5
1.2 连续事件处理的目标 ..................................................................................... 6
1.3 流处理技术的演变 ......................................................................................... 6
1.4 初探 Flink ....................................................................................................... 9
1.5 生产环境中的 Flink ..................................................................................... 12
1.5.1 布衣格电信 ...................................................................................... 13
1.5.2 其他案例 .......................................................................................... 14
1.6 Flink 的适用场景 ......................................................................................... 15
第 2 章 流处理架构 ............................................................................................. 17
2.1 传统架构与流处理架构 ............................................................................... 17
2.2 消息传输层和流处理层 ............................................................................... 18
2.3 消息传输层的理想功能 ............................................................................... 19
2.3.1 兼具高性能和持久性 ...................................................................... 20
2.3.2 将生产者和消费者解耦 .................................................................. 20
2.4 支持微服务架构的流数据 ........................................................................... 21
vi ｜ 目录
2.4.1 数据流作为中心数据源 .................................................................. 22
2.4.2 欺诈检测：流处理架构用例 .......................................................... 22
2.4.3 给开发人员带来的灵活性 .............................................................. 24
2.5 不限于实时应用程序 ................................................................................... 24
2.6 流的跨地域复制 ........................................................................................... 26
第 3 章 Flink 的用途 ............................................................................................ 29
3.1 不同类型的正确性 ....................................................................................... 29
3.1.1 符合产生数据的自然规律 .............................................................. 29
3.1.2 事件时间 .......................................................................................... 31
3.1.3 发生故障后仍保持准确 .................................................................. 32
3.1.4 及时给出所需结果 .......................................................................... 33
3.1.5 使开发和运维更轻松 ...................................................................... 33
3.2 分阶段采用 Flink ......................................................................................... 34
第 4 章 对时间的处理 ......................................................................................... 35
4.1 采用批处理架构和 Lambda 架构计数 ........................................................ 35
4.2 采用流处理架构计数 ................................................................................... 38
4.3 时间概念 ....................................................................................................... 40
4.4 窗口 ............................................................................................................... 41
4.4.1 时间窗口 .......................................................................................... 41
4.4.2 计数窗口 .......................................................................................... 43
4.4.3 会话窗口 .......................................................................................... 43
4.4.4 触发器 .............................................................................................. 44
4.4.5 窗口的实现 ...................................................................................... 44
4.5 时空穿梭 ....................................................................................................... 44
4.6 水印 ............................................................................................................... 45
4.7 真实案例：爱立信公司的 Kappa 架构 ...................................................... 47
第 5 章 有状态的计算 ......................................................................................... 49
5.1 一致性 ........................................................................................................... 50
5.2 检查点：保证 exactly-once ......................................................................... 51
5.3 保存点：状态版本控制 ............................................................................... 59
5.4 端到端的一致性和作为数据库的流处理器 ............................................... 62
5.5 Flink 的性能 ................................................................................................. 65
5.5.1 Yahoo! Streaming Benchmark .......................................................... 65
目录 ｜ vii
5.5.2 变化 1：使用 Flink 状态 ................................................................. 66
5.5.3 变化 2：改进数据生成器并增加吞吐量 ....................................... 67
5.5.4 变化 3：消除网络瓶颈 ................................................................... 68
5.5.5 变化 4：使用 MapR Streams........................................................... 69
5.5.6 变化 5：增加 key 基数 .................................................................... 69
5.6 结论 ............................................................................................................... 71
第 6 章 批处理：一种特殊的流处理 .............................................................. 73
6.1 批处理技术 ................................................................................................... 75
6.2 案例研究：Flink 作为批处理器 ................................................................. 76
附录 其他资源 ...................................................................................................... 79
关于作者 .................................................................................................................... 84
**** Hidden Message *****
啥也不说了，感谢楼主分享哇！ 啥也不说了，感谢楼主分享哇！ 啥也不说了，感谢楼主分享哇！ 正需要，支持楼主大人了！ 啥也不说了，感谢楼主分享哇！ 啥也不说了，感谢楼主分享哇！
页:
[1]