在三十分鐘內(nèi)創(chuàng)建你的深度學(xué)習(xí)服務(wù)器

每當(dāng)我開始一個(gè)新的項(xiàng)目時(shí)，我發(fā)現(xiàn)自己一次又一次地創(chuàng)建一個(gè)深度學(xué)習(xí)機(jī)器。

從安裝Anaconda開始，然后為Pytorch和Tensorflow創(chuàng)建不同的環(huán)境，這樣它們就不會(huì)相互干擾，而在這中間，你不可避免地會(huì)搞砸，然后得從頭開始。這種情況經(jīng)常發(fā)生。這不僅是對(duì)時(shí)間的巨大浪費(fèi)，也是令人惱火的。通過所有的堆棧溢出線程，我們經(jīng)常想知道究竟出了什么問題。那么，有沒有一種方法可以更有效地做到這一點(diǎn)呢？在這個(gè)博客中，我將嘗試在EC2上以最小的努力建立一個(gè)深度學(xué)習(xí)服務(wù)器，這樣我就可以專注于更重要的事情。本文章由兩部分組成：設(shè)置一個(gè)預(yù)先安裝了深度學(xué)習(xí)庫的Amazon EC2機(jī)器。使用TMUX和SSH隧道設(shè)置Jupyter notebook。別擔(dān)心，這聽起來不難，只需按照步驟操作，然后單擊“下一步”。設(shè)置Amazon EC2計(jì)算機(jī)我假設(shè)你擁有一個(gè)AWS賬戶，并且可以訪問AWS控制臺(tái)，如果沒有，你可能需要注冊(cè)一個(gè)Amazon AWS賬戶。AWS控制臺(tái)：首先，我們需要轉(zhuǎn)到“Services”選項(xiàng)卡以訪問EC2儀表板。

在EC2儀表板上，你可以從創(chuàng)建實(shí)例開始。

3．亞馬遜向社區(qū)AMI（亞馬遜機(jī)器映像）預(yù)裝了深度學(xué)習(xí)軟件。要訪問這些AMI，你需要查看社區(qū)AMI，并在“搜索”選項(xiàng)卡中搜索“ Ubuntu深度學(xué)習(xí)”。你可以選擇其他任何的Linux風(fēng)格，但是我發(fā)現(xiàn)Ubuntu對(duì)于滿足我的深度學(xué)習(xí)需求是最為有用。在當(dāng)前設(shè)置中，我將使用深度學(xué)習(xí)AMI（Ubuntu 18．04）27．0版

4．選擇AMI后，可以選擇“實(shí)例類型”。在這里，你可以指定系統(tǒng)中所需的CPU，內(nèi)存和GPU的數(shù)量。亞馬遜提供了許多根據(jù)個(gè)人需求選擇的選項(xiàng)，你可以使用“過濾依據(jù)”過濾器過濾GPU實(shí)例。在本教程中，我使用了p2．xlarge實(shí)例，該實(shí)例為NVIDIA K80 GPU提供了2，496個(gè)并行處理內(nèi)核和12GiB的GPU內(nèi)存。要了解不同的實(shí)例類型，你可以查看下方鏈接中的文檔，并查看價(jià)格。

5．你可以在第4步中更改連接到機(jī)器的存儲(chǔ)。如果你不預(yù)先添加存儲(chǔ)也是可以，因?yàn)橐院笠部梢赃@樣做。我將存儲(chǔ)空間從90 GB更改為500 GB，因?yàn)榇蠖鄶?shù)深度學(xué)習(xí)需求都需要適當(dāng)?shù)拇鎯?chǔ)空間。

6．僅此而已，你可以在進(jìn)入最終審閱實(shí)例設(shè)置屏幕之后啟動(dòng)實(shí)例。單擊啟動(dòng)后，你將看到此屏幕，只需在“Key pair name”中輸入任何密鑰名稱，然后單擊“Download Key Pair”即可。你的密鑰將按照你提供的名稱下載到計(jì)算機(jī)上。對(duì)我來說，它被保存為“aws＿key．pem”。完成后，你可以單擊“Launch Instances”啟動(dòng)實(shí)例。

請(qǐng)確保此密鑰對(duì)的安全，因?yàn)槊慨?dāng)你要登錄實(shí)例時(shí)都需要這樣做。7．現(xiàn)在，你可以單擊下一頁上的“View Instances”以查看你的實(shí)例。這是你的實(shí)例的樣子：

8．要連接到你的實(shí)例，只需在本地計(jì)算機(jī)上打開一個(gè)終端窗口，然后瀏覽到保存密鑰對(duì)文件并修改一些權(quán)限的文件夾。chmod 400 aws＿key．pem完成此操作后，你將可以通過SSH連接到你的實(shí)例。SSH命令的格式為：ssh －i“ aws＿key．pem” ubuntu ＠ ＜你的PublicDNS（IPv4）＞

另外，請(qǐng)記住，一旦關(guān)閉實(shí)例，公用DNS可能會(huì)更改。9．你已經(jīng)準(zhǔn)備好機(jī)器并準(zhǔn)備就緒。本機(jī)包含不同的環(huán)境，這些環(huán)境具有你可能需要的各種庫。這臺(tái)特定的機(jī)器具有MXNet，Tensorflow和Pytorch，以及不同版本的python，最好的事情是，我們已經(jīng)預(yù)先安裝了所有這些功能，因此開箱即用。