2017年发版的Flink 1.4.0，引进了一个里程碑式的新特性：TwoPhaseCommitSinkFunction ，抽象了两阶段提交协议的通用逻辑，相关联的jira单，并在Kafka Producer的connector中实现了它，支持了对外部Kafka sink的exactly-once语义。在此基础上，结合 Flink、sources、sinks 和 Kafka 0.11以上的版本，可以实现端到端一致性语义的应用，需要用户实现少数方法来实现一致性语义。
在这篇博客中，介绍以下几个方面：

1. 描述 Flink checkpoints 在保证一致性语义中的角色作用
2. 展示Flink如何通过两阶段提交协议与sources和sinks交互，以提供端到端的一致性语义
3. 通过一个简单的示例，通过使用 TwoPhaseCommitSinkFunction ，实现落地到文件目的端的一致性语义

Here's something encrypted, password is required to continue reading.

DESCRIBE、EXPLAIN、SHOW 等 Statement 相关 SQL 解析。

Flink SQL 解析的代码参考：Flink SQL 解析

Apache Calcite 是一个动态数据的管理框架，可以用来构建数据库系统的语法解析模块，不包含数据存储、数据处理等功能。
Calcite 只是对各种数据库（不同的数据源）的查询进行了封装，并对外提供了统一的查询入口。可以将 Calcite 理解成一个不包含存储层的数据库，它不需要关心任何文件格式。

Flink SQL 使用 Apache Calcite 并对其扩展以支持 SQL 语句的解析与验证。
目前 Calcite 流处理语句已实现对 SELECT, WHERE, GROUP BY, HAVING, UNION ALL, ORDER BY 以及 FLOOR, CEIL 函数的支持。
本文将以代码的形式说明 Flink SQL 是如何解析 DDL 语句，javacc 与 java 语言之间的转换关系。

Flink SQL 解析的代码参考：Flink SQL 解析

Here's something encrypted, password is required to continue reading.

本文将全局介绍 Flink 的整体架构。

网络流控是为了在上下游速度不匹配的情况下，如何防止下游出现过载的手段
网络流控有静态限速和动态反压两种手段
Flink 1.5以前是基于TCP流控+bounded buffer来实现反压
Flink 1.5之后实现了自己托管的credit-based流控机制，在应用层模拟TCP流控的机制

本文将对以上几点逐一介绍，并介绍几种常见的反压问题的处理方式。

Apache Flink 从 1.9.0 版本开始增加了与Hive集成的功能，用户可以通过Flink来访问Hive的元数据，以及读写Hive中的表。

本文主要分析下flink源码中flink-examples-streaming模块，为了方便分析，会把代码都拷贝在文中。