高性能数据虚拟化引擎 openLooKeng

Apache-2.0
Java C/C++ 查看源码»
跨平台
华为
2020-07-03
OSCHINA编辑部

openLooKeng 是一款高性能数据虚拟化引擎,提供统一 SQL 接口,具备跨数据源/数据中心分析能力以及面向交互式、批、流等融合查询场景。同时增强了前置调度、跨源索引、动态过滤、跨源协同、水平拓展等能力。

随着大数据技术的应用和发展,数据种类越来越多,数据分布越来越广,查询场景也越来越复杂,这使得大数据使用更加困难。为了改善大数据的易用性,数据虚拟化引擎 openLooKeng 开源项目旨在解决上述问题:

  • 统一 SQL 接口访问多种数据源
  • 免数据搬迁,在数据所在地对数据进行处理,并且支持跨数据中心、跨云处理
  • 面向交互式、批、流等融合查询的场景(第一个版本支持交互式查询场景)

此外,该项目还提供了 Coordinator AA 高可靠、可扩展的数据源 connector 框架等能力。

openLooKeng 使用了开源 SQL 引擎 Presto 来提供交互式查询分析基础能力,并继续在融合场景查询、跨数据中心/云、数据源扩展、性能、可靠性、安全性等方面发展,让数据治理、使用更简单。

加载中

openLooKeng v1.4.1 上线,OmniData Connector 来了

前言 前不久,在Hadoop、openLooKeng联合发起的Apache Hadoop Meetup 2021上,社区 PMC 主席 Ken Zhang 分享了主题:openLooKeng and the technical trend of big data(点此回顾),其中Omn...

11/15 10:38

新版本发布!openLooKeng v1.4.0 上线

朋友们 openLooKeng 新版本 v1.4.0 正式上线啦! 2020年6月开源以来,每一次的迭代更新,openLooKeng均为用户提供了更为简单与可靠的数据分析体验。这也使得搭载openLooKeng的用户伙伴越来越...

10/22 16:45

openLooKeng 招募社区布道师 & 优秀开发者

如果您对openLooKeng开源社区有兴趣,愿意付出一点时间与社区一起成长,那么欢迎您加入openLooKeng社区,成为社区优秀开发者或布道师,一起探索大数据技术,玩转开源社区,让大数据更简单。 ...

07/22 14:09

openLooKeng 诚邀您参加开源软件供应链-暑期2021点亮计划

自2021年1月29日正式启动以来,开源软件供应链点亮计划-暑期2021已经收到众多开源技术社区的关注,截至发稿日,已有包括openLooKeng在内的60多家开源技术社区报名参与活动,200+项目已经上线...

05/07 17:58

openLooKeng V1.2.0 发布

自去年6月开源以来,openLooKeng社区得到越来越多朋友的支持。社区内,小伙伴们对openLooKeng的性能给予了肯定和赞赏,同时也给出了许多有价值的建议。暖春3月,在众人的期待下,openLooKeng...

04/15 14:42

没有更多内容

加载失败,请刷新页面

没有更多内容

暂无问答

OpenLookeng简介

OpenLookeng简介 OpenLookeng关键特性 OpenLookeng之Connector OpenLookeng之算子下推 OpenLookeng之动态查询 ..... OpenLookeng 我理解其实就是基于异构数据源上的统一查询引擎。这一层其实...

01/15 09:57
1K
0
OpenLookeng之Connector

OpenLookeng简介 OpenLookeng关键特性 OpenLookeng之Connector OpenLookeng之算子下推 OpenLookeng之动态查询 ..... 之前系列已经讲到OpenLookeng的其中一大目标是提供跨多种数据源联合查询的...

01/18 18:15
421
0
OpenLookeng关键特性

OpenLookeng简介 OpenLookeng关键特性 OpenLookeng之Connector OpenLookeng之算子下推 ..... 继上篇OpenLookeng简介,大家对它有了基本了解。这篇文章重点介绍一下OpenLookeng的一些关键特性...

01/15 11:03
455
0
OpenLookeng之算子下推

OpenLookeng简介 OpenLookeng关键特性 OpenLookeng之Connector OpenLookeng之算子下推 OpenLookeng之动态查询 ..... 什么是算子下推 算子下推其实就是谓词下推概念的扩展。目的就是 将外层查...

02/02 15:35
658
0
Windows环境编译 openlookeng

OpenLooKeng 是华为开源的高性能数据虚拟化引擎,gitee:https://gitee.com/openlookeng/hetu-core OpenLooKeng 基于 PrestoSql(现改名:Trino)开发的, OpenLooKeng 编译环境暂时不支持windo...

01/04 18:00
220
0
openLooKeng Release V1.1.0关键特性

自openLooKeng V1.1.0 上线以来 不少小伙伴反应,新版本变化很大 不仅性能上得到大幅度提升 而且新增了数据源和Connector等等 …… 辣么,openLooKeng V1.1.0带来哪些新特性? 今儿个,咱们就...

02/05 10:30
55
0
数据湖探索DLI新功能:基于openLooKeng的交互式分析

摘要:基于华为开源openLooKeng引擎的交互式分析功能,将重磅发布便于用户构建轻量级流、批、交互式全场景数据湖。 在这个“信息爆炸”的时代,大数据已经成为这个时代的关键词之一!随着云计...

2020/10/22 15:04
480
0
数据库管理越来越复杂,更简洁统一的解决方案在哪里?

现在有各种各样的数据管理系统来存储与管理数据:关系型数据库、NoSQL数据库,文档数据库、Key-value数据库,对象存储系统等等。形态多样的数据管理系统为企业组织在管理数据上带来便利的同时...

2020/10/15 14:02
1K
0
从鸿蒙到欧拉,你知道华为在 Gitee 还开源哪些项目吗?

提到华为的开源,很多开发者肯定会首先想到鸿蒙 OpenHarmony。鸿蒙操作系统自面世以来就备受关注,前段时间开源的鸿蒙 2.0 所受到的关注度更是史无前例,但与此同时,开发者们可能还忽视了华...

2020/10/28 14:55
1K
2
华为四大开源基础软件,为每一行代码注入多样性算力!

华为计算产业基础软件战略进展与展望峰会在上海举行,向业界展示了全面启动基础软件开源项目后的成果,四大开源基础软件openEuler, openGauss, openLooKeng以及MindSpore生态初步建立。 华为...

2020/09/27 18:00
61
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部