快速构建数据管道 Ploomber

快速构建数据管道 Ploomber

Apache-2.0
Python
跨平台
2022-03-20
白开水不加糖

Ploomber 是构建数据管道的最快方式。使用你喜欢的编辑器(Jupyter、VSCode、PyCharm)进行交互式开发,并在不改变代码的情况下部署云(Kubernetes、Airflow、AWS Batch 和 SLURM)。只需一个命令就能将它们重构为模块化流水线。

# ML pipeline example
ploomber examples -n templates/ml-basic -o ml-basic
cd ml-basic

# install dependencies
pip install -r requirements.txt

# run pipeline
ploomber build

主要特点

快速开始

一个简单的 YAML API 可以快速上手,一个强大的 Python API 可以提供完全的灵活性。

更短的开发周期

自动缓存管道以前的结果,并且仅重新计算自上次执行以来已更改的任务。

随处部署

在单台机器上作为 shell 脚本运行,或者在KubernetesAirflowAWS BatchSLURM中分布式运行。

从旧版 notebooks 自动迁移

带上你的旧 monolithic notebooks,会自动将它们转换为可维护的模块化管道。

加载中

暂无资讯

暂无问答

暂无博客

返回顶部
顶部