当前位置 博文首页 > Shockang的博客:Flink 的系统架构是怎样的?
本文隶属于专栏《1000个问题搞定大数据技术体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!
本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系
Flink 作业在哪台机器上面提交,那么当前机器称之为Client。
用户开发的Program 代码,它会构建出DataFlow graph,然后通过Client提交给JobManager。
主(master)节点,相当于YARN里面的ResourceManager,生成环境中一般可以做HA 高可用。
JobManager会将任务进行拆分,调度到TaskManager上面执行。
从节点(slave),TaskManager才是真正实现task的部分。
Client提交作业到JobManager,就需要跟JobManager进行通信,它使用Akka框架或者库进行通信,另外Client与JobManager进行数据交互,使用的是Netty框架。
Akka通信基于Actor System,Client可以向JobManager发送指令,比如Submit job或者Cancel /update job。
JobManager也可以反馈信息给Client,比如status updates,Statistics和results。
Client提交给JobManager的是一个Job,然后JobManager将Job拆分成task,提交给TaskManager(worker)。
JobManager与TaskManager也是基于Akka进行通信,JobManager发送指令,比如Deploy/Stop/Cancel Tasks或者触发Checkpoint,反过来TaskManager也会跟JobManager通信返回Task Status,Heartbeat(心跳),Statistics等。
另外TaskManager之间的数据通过网络进行传输,比如Data Stream做一些算子的操作,数据往往需要在TaskManager之间做数据传输。
当Flink系统启动时,首先启动JobManager和一至多个TaskManager。
JobManager负责协调Flink系统,TaskManager则是执行并行程序的worker。
当系统以本地形式启动时,一个JobManager和一个TaskManager会启动在同一个JVM中。
当一个程序被提交后,系统会创建一个Client来进行预处理,将程序转变成一个并行数据流的形式,交给JobManager和TaskManager执行。
cs