数据编排器 Dagster

数据编排器 Dagster

Apache-2.0
Python TypeScript
跨平台
2021-10-12
白开水不加糖

Dagster 是一个用于机器学习、分析和 ETL 的数据编排器

Dagster 让你以可重复使用的逻辑组件之间的数据流来定义管道,然后在本地测试并在任何地方运行。通过对管道和它们产生的资产的统一视图,Dagster 可以调度和编排 Pandas、Spark、SQL 或任何其他 Python 可以调用的东西。

Dagster 是为数据平台工程师、数据工程师和全堆栈数据科学家设计的。用 Dagster 构建数据平台,使你的利益相关者更加独立、系统更加强大。用 Dagster 开发数据管道可使测试更容易,部署更快。

特性:

  • 笔记本电脑上开发和测试,随处部署

  • 对每个步骤产生和消耗的数据进行建模和输入

  • 将数据链接到计算

  • 搭建自助数据平台

  • 避免依赖噩梦

  • 从丰富的 UI 调试管道

加载中

暂无资讯

暂无问答

Web3极客日报 #177

微信不支持外部链接,可以点击文章底部的阅读原文,方便阅读文中的链接,也可通过 http://daily.rebase.network/ 浏览每期日报内容。 1. 一款简洁的数据流引擎,让数据自由流转 @River https...

2020/06/13 23:40
6
0
干货分享!5款超级实用的Python工具库!

Python 中好玩、实用的工具非常多,这给我们的工作学习带来极大的方便和乐趣。在之前文章中我已多次分享过一些实用的工具,今天我再分享 5 款非常实用的工具: 1、Black Black 是一款非常棒的...

为Python正名:语言本身不是瓶颈,可能是外部资源出了问题 - 知乎

Python 作为一种简单、易于掌握的编程语言,虽然在使用过程中存在短板,但也受到很多人的青睐。 选自towardsdatascience,作者:Anna Anisienia,机器之心编译,编辑:陈萍、李亚洲。 Python...

01/06 14:52
9
0
Python 太慢了吗?

作者 | Anna Anisienia 译者 | 刘雅梦 策划 | 褚杏娟 虽然 Python 比许多编译语言都慢,但它易于使用,而且功能多样。对于许多人来说,语言的实用性要胜过速度。 我是一名 Python 工程师,因...

01/20 08:29
5
0

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部