Apache Flink 1.6 Documentation: Component Stack

2018年8月14日 | 由 helight | 600字 | 阅读大约需要2分钟 | 归档于 flink | 标签 #flink

Component Stackhttps://ci.apache.org/projects/flink/flink-docs-release-1.6/internals/components.html#component-stack组件栈 作为一个软件栈,Flink是一个分层设计的系统。不同的层基于底层创建,不断提升程序表现的抽象。

  1. 运行时层接受JobGraph 形式的程序,一个JobGraph 是一个通用的并行数据流,它具有消费和生产数据流的任意任务。
  2. DataStream的API和DataSet的API都通过独立的编译过程生成JobGraphs。DataSet的API用一个优化程序来确定程序的优化计划,而DataStream的API使用流构建器
  3. 根据Flink中各种不同部署参数来执行JobGraph(例如:local,remote,YAEN等等)
  4. 和Flink所带的库和APIs可以生成DataSet或DataStream的API程序。包括针对逻辑表查询的Table,针对机器学习的FlinkML,和用于图处理的Gelly。

你可以点击下图中的组件来了解更多信息。

看完本文有收获?请分享给更多人
关注「黑光技术」,关注大数据+微服务