Flink 任务间数据交换 Flink Remote Shuffle

Apache 2.0
Java
跨平台
2021-12-01
罗奇奇

Flink Remote Shuffle 是一种批场景下利用外部服务完成任务间数据交换的 Shuffle 实现,本文后续将详细介绍 Flink Remote Shuffle 研发的背景,以及 Flink Remote Shuffle 的设计与使用。

重要特性

  1. 存储计算分离:存储计算分离使计算资源与存储资源可以独立伸缩,计算资源可以在计算完成后立即释放,Shuffle 稳定性不再受计算稳定性影响。

  2. 支持多种部署模式:支持 Kubernetes、Yarn 以及 Standalone 环境下部署。

  3. 采用了类似 Flink Credit-Based 流量控制机制,实现了零拷贝数据传输,最大限度的使用受管理的内存 (managed memory) 以避免 OOM,提高了系统稳定性与性能。

  4. 实现了包括负载均衡、磁盘 IO 优化、数据压缩、连接复用、小包合并等诸多优化,实现了优秀的性能与稳定性表现。

  5. 支持 Shuffle 数据正确性校验,能够容忍 Shuffle 进程乃至物理节点重启。

  6. 结合 FLIP-187: Flink Adaptive Batch Job Scheduler[11] 可支持动态执行优化,如动态决定算子并发度。

设计思路与原理介绍

参阅此文章:https://www.oschina.net/news/171564/flink-remote-shuffle-open-source

 

加载中

暂无资讯

暂无问答

Flink 专题1 : 搭建Flink 及Flink 简介

Flink 专题1 : 搭建Flink 及Flink 简介 图片来源于网络 Flink 简介 Apache Flink® - 基于数据流的有状态计算 Flink 的优势: 流场景使用案例 数据驱动的应用 批流数据分析 数据通道和ETL 正...

2018/11/06 23:34
909
0
Flink(四)Flink的State

一、State概述 Flink里面有state的概念 State:一般指一个具体的task/operator的状态。State可以被记录,在失败的情况下数据还可以恢复,Flink中有两种基本类型的State:Keyed State,Operato...

2021/01/07 17:02
74
0
Flink

近期研究下Flink的相关东西,一点一点完善,先来下载地址: https://www.apache.org/dyn/closer.lua/flink/flink-1.12.1/flink-1.12.1-bin-scala_2.12.tgz 算了,没有linux服务器,只能直接使...

2021/01/22 17:21
219
0
Flink

flink HA部署 flink搭建,采用分布式部署方式,分别为A,B,C三个节点。其中A为master;A,B,C为worker。 本文使用的用户是hadoop用户(自己新建) 先决条件 Java 1.8.x or higher scala 自己使用...

2019/06/10 14:54
167
1
Flink *

Flink on yarn 常见错误 1 Retrying connect to server 2 Unable to get ClusterClient status from Application Client 3 Cannot instantiate user function 4 Could not resolve substitut...

2019/01/08 10:27
877
0
Flink学习笔记:Flink Runtime

本文为《Flink大数据项目实战》学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习课程: Flink大数据项目实战:http://t.cn/EJtKhaz 1. Flink运行时架构 1.1Fli...

2019/04/18 16:51
70
0
「Flink」Flink中的时间类型

Flink中的时间类型和窗口是非常重要概念,是学习Flink必须要掌握的两个知识点。 Flink中的时间类型 时间类型介绍 Flink流式处理中支持不同类型的时间。分为以下几种: 处理时间 Flink程序执行...

2020/02/05 00:30
122
0
Flink —— 什么是Flink?

Flink —— 什么是Flink? Apache Flink - 有状态人数据流分布式计算引擎。 什么是流处理? 在自然环境中,数据的产生原本就是流式的。无论是来自 Web 服务器的事件数据,证券交易所的交易数...

2020/09/15 14:13
136
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部