计算中间件 Linkis

计算中间件 Linkis

Apache-2.0
跨平台
微众银行
2019-07-26
bigide

Linkis是一个打通了多个计算存储引擎如:Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。

Linkis基于微服务架构,提供了金融级多租户隔离、资源管控、权限隔离等企业级特性,支持统一变量、UDF、函数、用户资源文件管理,具备高并发、高性能、高可用的大数据作业/请求全生命周期管理能力。

Linkis效果图
 

基于Linkis计算中间件的架构设计理念,在上层构建了很多的应用系统。

  • 目前已开源的有:数据研发IDE工具Scriptis

  • 即将开源的有:数据可视化展示工具图形化工作流工具数据质量工具

 

核心特点:

  • 统一作业执行服务:一个分布式的REST/WebSocket服务,用于接收用户提交的各种脚本请求。

    目前支持的计算引擎有:Spark、Python、TiSpark、Hive和Shell等。

    支持的脚本语言有:SparkSQL、Spark Scala、Pyspark、R、Python、HQL和Shell等;

  • 资源管理服务: 支持实时管控每个系统和用户的资源使用情况,限制系统和用户的资源使用量和并发数,并提供实时的资源动态图表,方便查看和管理系统和用户的资源;

    目前已支持的资源类型:Yarn队列资源、服务器(CPU和内存)、用户并发个数等。

  • 应用管理服务:管理所有系统的所有用户应用,包括离线批量应用、交互式查询应用和实时流式应用,为离线和交互式应用提供强大的复用能力,并提供应用全生命周期管理,自动释放用户多余的空闲应用;

  • 统一存储服务:通用的IO架构,能快速对接各种存储系统,提供统一调用入口,支持所有常用格式数据,集成度高,简单易用;

  • 统一上下文服务:统一用户和系统资源文件(JAR、ZIP、Properties等),用户、系统、计算引擎的参数和变量统一管理,一处设置,处处自动引用;

  • 物料库:系统和用户级物料管理,可分享和流转,支持全生命周期自动管理;

  • 元数据服务:实时的库表结构和分区情况展示。

与类似系统的对比:

Linkis跟Apache Livy和Apache Zeppelin Interpreter的定位不一样,但是由于开源社区目前尚没有同类竞品,所以这里做一个简单对比供大家参考。

comparison_table


文档列表

Linkis快速安装使用文档

上层前端应用的HTTP接入文档

上层前端应用的WebSocket接入文档

Linkis架构文档

更多文档,请点我访问


Architecture:

introduction_new


RoadMap

1. Linkis管理台

  • 用户可以查看和管理自己的Job
  • 用户可以查看和管理自己的引擎
  • 用户可以查看Yarn的资源使用情况和用户资源使用排名
  • 用户可以配置引擎的启动参数
  • 用户可以设置变量

2. 支持标签功能

  • 支持给EngineManager打标签
  • 启动引擎时,支持为引擎打标签
  • 支持通过标签访问目标引擎

3. AppGovernance应用治理实现

  • 系统级、用户级应用全生命周期管理,包括离线批量、交互式查询和实时流式应用
  • 为离线和交互式应用提供复用能力和智能切换能力
  • 智能限流、应用智能保护

4. 支持Flink和Spark Structured Streaming

如果您有任何需求,欢迎给我们提issue,我们将会及时给您回复。

加载中

Apache Linkis (Incubator) 孵化之路正式开启

8月2日,微众银行开源的计算中间件项目-Linkis,全票通过了国际顶级开源组织Apache软件基金会(简称 ASF)的孵化器投票决议。经过了为期2个多月的基础建设工作,目前已完成了项目相关知识产权的...

11/02 13:54

全票通过!微众开源项目 Linkis 进入 Apache 孵化器

8月2日,微众银行开源项目 Linkis 正式通过国际顶级开源组织 Apache 软件基金会(简称 ASF )的投票决议,以全票通过的优秀表现成为 ASF孵化器项目。 Linkis是微众银行第二个进入 ASF 的项目...

09/14 15:10

Linkis 1.0.2 正式发布,大数据平台中间件

Linkis-1.0.2作为Linkis 1.0.1的增强版,主要实现了FlinkEngineConn,将Flink引入Linkis生态,关键特性如下: 实现了FlinkEngineConn,支持Flink SQL和Flink Jar应用的编写、调试、发布与监控...

09/10 16:58

Linkis 1.0.1 正式发版 - 大数据平台中间件解决方案

Linkis 1.0.1对Linkis1.0.0版本发现Bug和影响性能,便利性的问题进行了修复和增强,欢迎更新升级。 Linkis 1.0.1 Linkis 1.0.1 作为1.0.0的修复版本,这次版本主要修复了高并发场景下的性能b...

07/28 09:35

【里程碑】Linkis 1.0.0 正式发布

Linkis 1.0.0是 Linkis 践行“计算治理”的里程碑,提供了计算编排、一次性作业、Web前端和Linkis-Cli的全新shell命令提交代码方式,标志着 Linkis 正式进入1.0版本时代。 Linkis 1.0.0 作为...

06/30 10:42

【里程碑】Linkis 1.0.0-RC1 版本发布

Linkis 1.0.0-RC1 是 Linkis 里程碑式的重大版本,提供了超 60 个新特性和功能增强, 标志着 Linkis 正式进入1.0版本时代。 Linkis是什么? Linkis 在上层应用和底层引擎之间构建了一层计算中...

03/18 10:41

Linkis 1.0 安装部署和使用方法讲解

Linkis在上层应用和底层引擎之间构建了一层计算中间件,上层应用只需对接Linkis提供的REST/WS/JDBC 等标准接口,就能连接到MySQL/Spark/HBase 等各种底层计算存储引擎,并实现上层应用间的互...

03/11 17:59

Linkis 0.11.0 发布,新增 ElasticSearch 与 Presto 引擎

大家期待已久的ElasticSearch引擎和Presto引擎来啦! Linkis 0.11.0 是由微众银行和MobTech团队作为主要贡献者的一个重要版本。这是基于Linkis 0.10.0的下一个发行版本。此版本新增了Presto引...

01/21 16:52

【重磅发布】Linkis 0.10.0 版本发布

大家期待的Linkis on kubernetes的容器化解决方案来啦! Linkis 0.10.0是在微众银行的倾力帮助下,由艾佳生活主导完成的一个重要版本。 这是基于Linkis 0.9.4的下一个发行版本。 Linkis doc...

2020/12/03 16:52

Linkis 0.9.4 版本发布

什么是计算中间件Linkis Linkis是微众银行自研的一个打通了多个计算存储引擎如:Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、Hiv...

2020/06/16 17:51

没有更多内容

加载失败,请刷新页面

11
回答
Linkis解决了您的什么问题呢?
遗忘曾经谢谢 的回答 2020/04/07 17:36
最佳答案
我们主要用来打通数据开发平台和调度平台,作为大数据任务统一执行引擎
2
回答
Linkis跟Livy和Zeppelin的Interpreter有什么区别?

最近看到微众银行开源了Linkis+Scriptis,Scriptis作为一款跟Zeppelin和Hue定位一样的数据开发IDE工具,虽然有很多企业级特性...

2019/08/02 19:58

没有更多内容

加载失败,请刷新页面

没有更多内容

Linkis 0.9.2 版本发布

01 — Linkis是什么 Linkis 是微众银行自研的一个打通了多个计算存储引擎如: Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQ...

2019/12/31 11:56
149
0
Linkis 0.9.4 Release Note

Linkis 0.9.4 Release Note Linkis 0.9.4发布,新增统一上下文服务模块以及基于统一上下文服务模块对其他Linkis模块如执行服务、gateway、存储服务等进行改造;新增统一数据源服务模块,为上层...

2020/06/15 16:52
73
0
Farewell Livy, Hi Linkis

1.数据分析平台搭建的若干主题 笔者从事大数据功能平台建设若干年,在笔者就职的公司,业务分析人员常使用到如SparkSql, PySpark,hive,python等方式分析数据。搭建一个安全、稳定同时满足...

2019/08/01 17:25
963
3
Linkis架构解析系列(一)——Linkis RPC架构解析

“ 为了提升Linkis的高并发能力,Linkis基于微服务架构,在Feign的基础之上,实现了一套自己的底层RPC通信方案,用以提升微服务间的通信性能和并发能力。” 基于Feign的微服务之间HTTP接口调...

2019/11/06 15:58
629
0
【重磅发布】Linkis 0.10.0 版本发布

重 磅 发 布 Linkis 0.10.0 版本发布 大家期待的Linkis on kubernetes的容器化解决方案来啦! Linkis 0.10.0是在微众银行的倾力帮助下,由艾佳生活主导完成的一个重要版本。 这是基于Linkis ...

2020/12/03 15:00
88
0
【重磅发布】Linkis 0.11.0版本发布

【重磅发布】Linkis 0.11.0 版本发布 大家期待已久的ElasticSearch引擎和Presto引擎来啦! Linkis 0.11.0 Linkis 0.11.0 是由微众银行和MobTech团队作为主要贡献者的一个重要版本 这是基于L...

01/21 16:37
281
0
第三方应用通过HTTP接入Linkis

◆ ◆ ◆ ◆ 社区用户经验分享之 第三方应用通过HTTP接入Linkis ◆ ◆ ◆ ◆ water:8年码龄,长期保持在开发一线,擅长大数据与后端开发,也可前端开发。喜欢捣鼓新技术,目前重心在大数据平...

2020/10/10 18:49
143
0
Linkis基于Feign实现的双向RPC通信方案

一、背景 基于Feign的微服务之间HTTP接口的调用,只能满足简单的A微服务实例根据简单的规则随机选择B微服务之中的某个服务实例,而这个B微服务实例如果想异步回传信息给调用方,是根本无法实...

2019/08/29 20:13
310
2
【直播预告】计算中间件Linkis开源技术的应用和实践

摘要:一站式开源大数据平台套件WeDataSphere第2期线上 Meetup 7月9日 第2期WeDataSphere线上 Meetup将与大家见面,Linkis项目负责人暨微众银行大数据平台负责人,以及三位社区committer天翼...

2020/07/06 10:16
908
2

没有更多内容

加载失败,请刷新页面

返回顶部
顶部