Tuplex基于Python的并行大數(shù)據(jù)處理框架

Tuplex 是一個(gè)并行的大數(shù)據(jù)處理框架，它以編譯代碼的速度運(yùn)行用 Python 編寫(xiě)的數(shù)據(jù)科學(xué)管道。Tuplex 具有與Apache Spark或Dask類似的 Python API?，但與調(diào)用 Python 解釋器不同，Tuplex 為給定的管道和輸入數(shù)據(jù)集生成優(yōu)化的 LLVM 字節(jié)碼。在底層，Tuplex 基于數(shù)據(jù)驅(qū)動(dòng)編譯和雙模式處理，這兩項(xiàng)關(guān)鍵技術(shù)使 Tuplex 能夠提供與手工優(yōu)化的 C++ 編寫(xiě)的流水線相媲美的速度。

安裝

要安裝 Tuplex，您可以使用適用于 Linux 的 PyPi 包，或適用于 MacOS 的 Docker 容器，這將啟動(dòng)預(yù)裝 Tuplex 的 jupyter notebook。

Docker

docker run -p 8888:8888 tuplex/tuplex

PyPI

pip install tuplex

構(gòu)建

Tuplex 適用于 MacOS 和 Linux。當(dāng)前版本已在 MacOS 10.13-10.15 和 Ubuntu 18.04 和 20.04 LTS 下測(cè)試。要安裝 Tuplex，只需先安裝依賴項(xiàng)，然后構(gòu)建包。

MacOS 從源代碼構(gòu)建

要構(gòu)建 Tuplex，您首先需要其他幾個(gè)可以通過(guò)?brew?輕松安裝的軟件包。

brew install llvm@9 boost boost-python3 aws-sdk-cpp pcre2 antlr4-cpp-runtime googletest gflags yaml-cpp celero
python3 -m pip cloudpickle numpy
python3 setup.py install

從源代碼構(gòu)建 Ubuntu

為了便于安裝 Ubuntu 的依賴項(xiàng)，我們提供了兩個(gè)腳本（scripts/ubuntu1804/install_reqs.sh適用于 Ubuntu 18.04 或scripts/ubuntu2004/install_reqs.shUbuntu 20.04）。要?jiǎng)?chuàng)建 Tuplex 的最新版本，只需運(yùn)行

./scripts/ubuntu1804/install_reqs.sh
python3 -m pip cloudpickle numpy
python3 setup.py install