大数据批处理和流处理标准 Apache Beam

大数据批处理和流处理标准 Apache Beam

Apache
Java
跨平台
Apache
2016-11-13
王练

Apache Beam 是 Apache 软件基金会越来越多的数据流项目中最新增添的成员,是 Google 在2016年2月份贡献给 Apache 基金会的孵化项目。

这个项目的名称表明了设计:结合了批处理(Batch)模式和数据流(Stream)处理模式。它基于一种统一模式,用于定义和执行数据并行处理管道(pipeline),这些管理随带一套针对特定语言的SDK用于构建管道,以及针对特定运行时环境的Runner用于执行管道。

Apache Beam 的主要目标是统一批处理和流处理的编程范式,为无限,乱序,web-scale的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的SDK。Apache Beam项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,Apache Beam希望基于Beam开发的数据处理程序可以执行在任意的分布式计算引擎上。

加载中

Apache Beam 2.34.0 发布,大数据流处理与批处理编程范式

Apache Beam 是一种用于批处理和流式处理的统一编程模型,包含一套构建管道的特定语言 SDK 和在分布式处理后端执行管道的运行器。 亮点 用于 Calcite SqlTransform 的 Beam Java API 不再是实...

2021/11/23 07:05

Apache Beam 2.28.0 发布,大数据流处理与批处理编程范式

Apache Beam 2.28.0 已发布,Beam 是一个用于定义和执行数据处理管道的统一编程模型,包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实...

2021/02/26 07:37

Apache Beam 2.27.0 发布,大数据流处理与批处理编程范式

Apache Beam 2.27.0 发布了。Beam 是一个用于定义和执行数据处理管道的统一编程模型,包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实...

2021/01/10 07:32

Apache Beam 2.25.0 发布,大数据流处理与批处理编程范式

Apache Beam 2.25.0 发布了。Beam 是一个用于定义和执行数据处理管道的统一编程模型,包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实...

2020/10/25 10:44

Apache Beam 2.24.0 发布,大数据流处理与批处理编程范式

Apache Beam 2.24.0 发布了。Beam 是一个用于定义和执行数据处理管道的统一编程模型,包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实...

2020/09/21 07:31

Apache Beam 2.23.0 发布,大数据批处理和流处理标准

Apache Beam 2.23.0 现已发布。Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限、乱序、web-scale 的数据集处理提供简...

2020/07/31 07:28

Apache Beam 2.19.0 发布,大数据批处理和流处理标准

Apache Beam 2.19.0 发布了。 Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限、乱序、web-scale 的数据集处理提供简...

2020/02/06 07:54

Apache Beam 2.9.0 发布,大数据批处理和流处理标准

Apache Beam 2.9.0 发布了。Apache Beam 是 Google 在2016年2月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限、乱序、web-scale 的数据集处理提供简单灵活...

2018/12/16 07:54

Apache Beam 2.7.0 发布,大数据批处理和流处理标准

Apache Beam 2.7.0 发布了。Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限,乱序,web-scale 的数据集处理提供简单...

2018/10/20 08:04

Apache Beam 2.3.0 发布,大数据批处理和流处理标准

Apache Beam 2.3.0 发布了。主要更新内容如下: full Java 8 support Spark 2.x support in Spark runner Amazon WS S3 filesystem support General-purpose writing to files (FileIO) Spli...

2018/02/20 07:26

没有更多内容

加载失败,请刷新页面

1
回答
Apache Beaming

@Ryan-瑞恩 你好,想跟你请教个问题:Apache beam是基于Spark Streaming的吗?跟华为自主开发的Stream DM之间有什么联系...

2017/03/23 19:08

没有更多内容

加载失败,请刷新页面

没有更多内容

暂无博客

返回顶部
顶部