消息队列的数据既是离线数仓的原始数据，也是实时计算的原始数据，这样可以保证实时和离线的原始数据是统一的。 计算层 Flink 有了源数据，在 计算层 经过Flink实时计算引擎做一些加工处理，然后落地到存储层中不同存储介质当中。
SmartNews的数据湖架构师戚清雨在Flink Forward Asia 2022大会上分享了他们构建的高效数据湖实践，这一创新性策略分为五个关键环节：数据湖构建、Iceberg v1的挑战与解决方案、实时更新优化、Iceberg v2的革命性突破，以及未来展望。
Apache Flink 是一个流处理和批处理的开源框架，它用于构建大规模数据流和离线处理应用程序。Flink 提供了一个高效的分布式计算引擎，能够在多核和集群环境中处理实时数据流，并且能够同时处理大规模数据集。
在一次关于kafka+flink+doris的实时操作项目中，我们的目标是为某市医院构建一个统一的数据中心主索引，同时处理历史离线数据和增量实时数据，确保数据的实时性和准确性。
flink12版本中使用了flinksql，固定了groupid。但是因为重复上了两个相同任务之后，发现数据消费重复。下图sink中创建两个相同任务，会消费相同数据。两个任务同时处理，并没有在一个consume group里，所以不会共同消费。
kafka是一个具有数据保存、数据回放能力的消息队列，说白了就是kafka中的每一个数据，都有一个专门的标记作为标识。而在Flink消费kafka传入的数据的时候，source任务就能够将这个偏移量以算子状态的角色进行保存，写入到设定好的检查点中。
技术专栏从实战出发，通过基础介绍入门-环境搭建-项目实践，让初学者快速掌握Apache Doris分析型OLAP数据库开源产品。其中示例项目KFD演示通过Flink处理Kafka中的消息记录，处理之后的数据再写入到Kafka和Elasticsearch中，最后以Routine Load方式再将处理好的数据导入到Doris中。
当 Flink 执行 checkpoint 时，Kafka 的每个分区的位点都被存储到 checkpoint 指定的 filesystem 中。Flink 的 checkpoint 机制确保了所有任务算子的状态是一致的，也就是说这些状态具有相同的数据输入。当所有的任务算子成功存储他们自己的状态后，代表一次 checkpoint 的完成。
1、物理部署层面，Flink兼容本地和云环境，适应各种部署需求。整个系统由JobManager（Master）和TaskManager（Worker）构成，通信基于Akka，用户可以提交任务并实时监控运行状态。
2、TLINK物联网是深圳市模拟科技有限公司面向物联网产品的开放平台，Flink在德语中是快速和灵敏的意思，用来体现流式数据处理器速度快和灵活性强等特点。
3、Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时（Flink Runtime），提供支持流处理和批处理两种类型应用的功能。
1、flink框架是什么 Apache Flink 是一个流处理和批处理的开源框架，它用于构建大规模数据流和离线处理应用程序。Flink 提供了一个高效的分布式计算引擎，能够在多核和集群环境中处理实时数据流，并且能够同时处理大规模数据集。
2、Flink其实就是Apache Flink，是一款业内非常火的大数据产品，由Apache软件基金会开发，核心是用Java和Scala编写的分布式流数据流引擎。Apache Flink是个旨在提供‘一站式’ 的分布式开源数据处理框架。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。
3、Flink是一个框架和分布式处理引擎，用于对无限制和有限制的数据留进行有状态的计算。Flink被设计为可在所有常见的集群环境中运行，以内存速度和任何规模执行计算。任何类型的数据都是作为事件流产生的。信用卡交易，传感器测量，机器日志或网站移动应用程序上的用户交互，所有这些数据均作为流生成。
4、Flink是一个基于流计算的分布式引擎，以前的名字叫stratosphere，从2010年开始在德国一所大学里发起，也是有好几年的 历史 了，2014年来借鉴了社区其它一些项目的理念，快速发展并且进入了Apache顶级孵化器，后来更名为Flink。
5、Flink是什么 Java Apache Flink是一个开源的分布式，高性能，高可用，准确的流处理框架。支持实时流处理和批处理。
1、Flink也是典型的master-slave分布式架构。Flink的运行时，由两种类型的进程组成：Client： Client不是运行时和程序执行的一部分，它是用来准备和提交数据流到JobManagers。之后，可以断开连接或者保持连接以获取任务的状态信息。当 Flink 集群启动后，首先会启动一个 JobManger 和一个或多个的 TaskManager。
2、流处理和批处理：Flink 框架支持流处理和批处理两种模式。这意味着它可以同时处理实时数据流和历史数据集，并且可以无缝地转换数据流和数据批处理。 分布式计算引擎：Flink 是一个分布式计算引擎，它能够在多核和集群环境中运行。这意味着它可以处理大规模的数据集，并且具有可扩展性。
3、Flink采用Master-Slave架构，其中JobManager作为集群Master节点，主要负责任务协调和资源分配，TaskWorker作为Salve节点，用于执行流task。除了JobManager和TaskManager，还有一个重要的角色就是Client。Client虽然不是Flink Cluster 运行态的一部分，但也是Flink重要组件之一，用来提交流任务。
4、Apache Flink：是一个开源的流处理框架，具有高性能、高吞吐量和低延迟的特点，支持批处理和流处理。Apache Kafka：是一个分布式流处理平台，主要用于构建实时数据管道和流应用。Apache Storm：是一个分布式实时计算系统，可以处理高速数据流并实时分析。
5、一个JobGraph是一个Flink Dataflow，它由多个JobVertex组成的DAG。其中，一个JobGraph包含了一个Flink程序的如下信息：JobID、Job名称、配置信息、一组JobVertex等。 组件栈 Flink是一个分层架构的系统，每一层所包含的组件都提供了特定的抽象，用来服务于上层组件。
6、Flink程序是由Stream和Transformation这两个基本构建块组成，其中Stream是一个中间结果数据，而Transformation是一个操作，它对一个或多个输入Stream进行计算处理，输出一个或多个结果Stream。 Flink程序被执行的时候，它会被映射为Streaming Dataflow。