基于 Python 的并行大数据处理框架 Tuplex

Apache-2.0
C/C++ 查看源码»
跨平台
2021-07-08
Alias_Travis

Tuplex 是一个并行的大数据处理框架,它以编译代码的速度运行用 Python 编写的数据科学管道。Tuplex 具有与Apache SparkDask类似的 Python API ,但与调用 Python 解释器不同,Tuplex 为给定的管道和输入数据集生成优化的 LLVM 字节码。在底层,Tuplex 基于数据驱动编译和双模式处理,这两项关键技术使 Tuplex 能够提供与手工优化的 C++ 编写的流水线相媲美的速度。

安装

要安装 Tuplex,您可以使用适用于 Linux 的 PyPi 包,或适用于 MacOS 的 Docker 容器,这将启动预装 Tuplex 的 jupyter notebook。

Docker

docker run -p 8888:8888 tuplex/tuplex

PyPI

pip install tuplex

构建

Tuplex 适用于 MacOS 和 Linux。当前版本已在 MacOS 10.13-10.15 和 Ubuntu 18.04 和 20.04 LTS 下测试。要安装 Tuplex,只需先安装依赖项,然后构建包。

MacOS 从源代码构建

要构建 Tuplex,您首先需要其他几个可以通过 brew 轻松安装的软件包。

brew install llvm@9 boost boost-python3 aws-sdk-cpp pcre2 antlr4-cpp-runtime googletest gflags yaml-cpp celero
python3 -m pip cloudpickle numpy
python3 setup.py install

从源代码构建 Ubuntu

为了便于安装 Ubuntu 的依赖项,我们提供了两个脚本(scripts/ubuntu1804/install_reqs.sh适用于 Ubuntu 18.04 或scripts/ubuntu2004/install_reqs.shUbuntu 20.04)。要创建 Tuplex 的最新版本,只需运行

./scripts/ubuntu1804/install_reqs.sh
python3 -m pip cloudpickle numpy
python3 setup.py install
加载中

暂无资讯

暂无问答

Slick plain SQL如何传递List[Int]参数

最近用slick作为数据库访问框架,有些功能不好实现,用plain SQL,sql是根据查询条件生成的,所以参数也不是固定的个数。但StaticQuery[T, Entity]里面的T,默认只支持数据库支持的类型比如I...

2014/09/14 09:56
552
0
python的坑

这个参考 https://blog.csdn.net/revilwang/article/details/37884127 ============================ 单个 tuplex ============================ 比如这个 这个会报错 threads = [] for sto...

2018/12/05 14:27
4
0
体验 Scala 2.12 支持的 Java 8 风格(SAM) Lambda

上一次关注 Scala 新版本特性还是在将近五年前,针对的是 Scala 2.10. 后来也一直在使用 Scala,基本上是 Scala 2.11,但对 Scala 2.11 所带来的新特性基本无知,大约有个 Macro 功能,没什么...

2018/08/10 00:00
52
0
重要 : 优化flink的四种方式

flink这个框架在逐步变为流处理的主流。本文,我们将针对flink性能调优讲四种不同的方法。加浪尖微信 158570986,拉入大数据微信交流群。 使用flink tuples 当使用groupby,join,后者key这类...

2020/03/13 20:31
2
0
Haskell趣学指南[3]

Int vs. Integer: Int具有限制值(如32位 -32767 - +32768), 而Integer没有限制,但是Integer速度更慢 :t expr 返回expr的类型信息 :t True ==> True :: Bool 为函数标明类型声明: addThree...

2019/04/05 19:40
7
0
Akka HTTP Routing DSL

Route 路由 type Route = RequestContext => Future[RouteResult] Akka HTTP 里路由是类型 Route 只是一个类型别名,它实际上是一个函数 RequestContext => Future[RouteResult],它接受一个...

2018/10/11 23:52
214
0
写给Python程序员的Scala入门教程

随着业务和数据的需要,我们引入了[`Spark`](http://spark.apache.org/)。`Spark`对`Python`的支持还是挺好的,但毕竟它还是使用`Scala`开发的,且现有的API并没有100%覆盖Python。所以就有了...

2015/11/29 23:47
1K
0

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部