比Colab更方便的GPU平臺-GPUlab

GPUlab是一個提供付費(fèi)GPU的平臺，其接口源自JupyterLab（一種升級版的Jupyternotebook），因此可透過網(wǎng)頁接口提供完整的Python IDE接口，除了基本的Notebook，也有terminal、console可用，因此使用起來比起Colab更為方便。

該產(chǎn)品是由一家位于美國加州的Deasil Works公司所提供，主要業(yè)務(wù)提供AI、Data science等方面的技術(shù)咨詢。

計(jì)費(fèi)方式

目前提供三種plan，但主要在于購買周期的差異，硬件及執(zhí)行環(huán)境完全相同。三種計(jì)費(fèi)周期為日、周、月，信用卡付款，期限到自動扣款續(xù)約。

提供的GPU執(zhí)行環(huán)境

比較值得關(guān)心的是GPU執(zhí)行環(huán)境及配置：

1.GPU硬件：Tesla K80 x1，11MB

2.CUDA 10.02

3.Ubuntu 18.04

4.Tensorflow 2.3

5.PyTorch 1.8

6.無法sudo (無root權(quán)限)

7.可使用terminal或jupyternotebook來執(zhí)行程序，或管理/安裝移除相關(guān)套件。

8.Storage空間無論任何方案皆為25GB。

9.環(huán)境及檔案可持久保持，不像Colab,Kaggle在超過時數(shù)后便自動清空。

Tesla K80其實(shí)是由兩個K40核心所組成一片24GB的K80，在環(huán)境中看到的是兩片各為12GB的GPU，由于其架構(gòu)較老舊，速度在TF1.6測試下僅達(dá)GTX 1080一半（參考下圖）。

硬件規(guī)格與GTX 1080比較如下：

(https://www.reddit.com/r/deeplearning/comments/5mc7s6/performance_difference_between_nvidia_k80_and_gtx/)

K80已是八-九年前的產(chǎn)品，使用的framework為Kepler（GTX 1080為差了兩代的Pascal，3080以后系列為差了五代的Ampere），從Nvidia的規(guī)劃（https://zh.wikipedia.org/wiki/CUDA）來看，Kepler只支持到CUDA 10.2，不支持最新的CUDA11.0之后版本。但測試結(jié)果，安裝了CUDA 11.0之后，還是能在GPUlab的K80 GPU執(zhí)行訓(xùn)練，這部份請參考后續(xù)說明。

GPUlab的使用接口

注冊賬號，選擇要購買的方案種類，使用信用卡繳費(fèi)后，便會自動設(shè)定好環(huán)境馬上便能使用。

GPUlab environment的界面

點(diǎn)選Notebook中的Python3，會于目前目錄（可從左側(cè)窗口的檔案總管切換）新建一個notebook。

點(diǎn)選Console中的Bash，會進(jìn)入一個可下方命令欄輸入bash command的窗口。

點(diǎn)選Others中的Terminal，出現(xiàn)一個類似putty接口的終端窗口。

輸入nvidia-smi

輸入ls -la /usr/local/cuda，發(fā)現(xiàn)CUDA版本是10.1

升級CUDA為最新版的11.03

如果想要使用較新的Tensorflow 2.5，那么必須要升級CUDA到最新版本11.X才行，不過目前GPUlab僅支持10.3，官方解釋要等到下一版(約在2021年七月底或八月左右)才有支持。如果打算自己安裝升級，會發(fā)現(xiàn)GPUlab并沒有開放sudo root權(quán)限，想要升級到11.X版似乎有些困難。

但其實(shí)，CUDA/CUDNN安裝也可以用戶模式來安裝，不一定需要root權(quán)限。

下載CUDA 11.4

URL//developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=18.04&target_type=runfile_local

$ wgethttps://developer.download.nvidia.com/compute/cuda/11.4.0/local_installers/cuda_11.4.0_470.42.01_linux.run

安裝CUDA 11.4

$ chmod755 cuda_11.4.0_470.42.01_linux.run

# ./cuda_11.4.0_470.42.01_linux.run

安裝時取消Nvidia driver的安裝，并修改安裝路徑到個人家目錄下。（例如：/home/jovyan/cuda-11.4）

安裝結(jié)束后，于相同路徑下新增soft link cuda指向cuda-11.4。

加入path到.bash_profile

exportCUDA_HOME=/home/jovyan/cuda

使用pip升級tensorflwo-gpu及pytorch

pipinstall -U tensorflow-gpu torch torchvision torchaudio

將下方三行加到~/.bash_profile

exportLD_LIBRARY_PATH=/home/jovyan/cuda/lib64:/home/jovyan/cuda/extras/CUPTI/lib64/:${LD_LIBRARY_PATH}

exportLIBRARY_PATH=${LIBRARY_PATH}:/home/jovyan/cuda/lib64:/home/jovyan/extras/CUPTI/lib64:/home/jovyan/cuda/targets/x86_64-linux/lib

從NVidia下載解壓CUDNN，并將檔案復(fù)制到 ~/cuda相對應(yīng)路徑下。

測試

開啟一個terminal，import tensorflow，確認(rèn)可使用11.x版的CUDA。

Ps. 此方法僅對于terminal環(huán)境有效，在Jupyternotebook環(huán)境可在一開始就先執(zhí)行：

!source ~/.bash_profile

之后，PyTorch便能使用到新版CUDA了，但Tensorflow還不行。

心得

優(yōu)點(diǎn)：

1.以每月不到三百元的價格，能使用不限時數(shù)11GBRAM的GPU，且已預(yù)先裝好所有可用的模塊，感覺相當(dāng)劃算。

2.若您僅需Jupyter Notebook接口進(jìn)行基本的模型測試及訓(xùn)練，GPUlab所提供的環(huán)境已足敷使用。

3.可同時從不同PC登入portal（看到相同執(zhí)行畫面），亦可同時執(zhí)行數(shù)個程序，只要Disk space及GPU usage沒有超過用量。

4.從GPUlab環(huán)境存取internet的速度快，例如，從Kaggle透過API下載dataset比在自己PC快相當(dāng)多。

5.提供的Terminal接口與Notebook搭配使用相當(dāng)方便。

缺點(diǎn)：

1.提供的K80 GPU速度不是很令人滿意，以訓(xùn)練一個參數(shù)為600,612的Keras UNet模型來說，在最新GTX 3080 GPU每epochs約117 s，K80則需要383 s，兩者差距了三倍之多。

2.提供的Disk space僅有25GB，一次無法放置太多數(shù)量的dataset。

3.無sudo的root權(quán)限，因此，無法自行控制或修改更多的環(huán)境配置。

4.預(yù)載的CUDA僅支持到10.3，雖可自行升級到CUDA11.X，但會占用到disk quota（約8G）。

5.環(huán)境未安裝libopencv-dev套件，且也無法透過sudoapt-get install libopencv-dev 自行安裝，這使得訓(xùn)練YOLO的Darknetframe在編譯時若enableOpenCV，會產(chǎn)生error。

審核編輯：劉清