基于Datalore開發(fā)機器學習項目的體驗

如果說“古代”的編輯器圣戰(zhàn)是Vi和Emacs，那當今時代的IDE圣戰(zhàn)可能是Eclipse和Intellij了。大多數(shù)人都覺得Intellij是后出轉(zhuǎn)精。不過，Eclipse其實有一個獨特的優(yōu)勢，Eclipse Che，基于Eclipse的云端開發(fā)環(huán)境。Eclipse Che可以方便地統(tǒng)一開發(fā)環(huán)境，避免不同系統(tǒng)、不同硬件導致的各種兼容問題，同時節(jié)省開發(fā)人員配置環(huán)境的時間。Intellij乃至其他JetBrains系的IDE，則都只有本地版本。

不過，JetBrains今年倒是出了一個云端開發(fā)環(huán)境Datalore，不過并不針對Java開發(fā)者，而是面向機器學習。

經(jīng)過三個多月的公測，Datalore的基本功能也比較完善了。所以今天我們將通過一個具體的例子（使用卷積網(wǎng)絡分類服飾圖像）來分享下基于Datalore開發(fā)機器學習項目的體驗。

首先我們訪問datalore.io，可以使用Google賬號或JetBrains賬號登錄。如果沒有的話，可以注冊一個。

登錄后，點擊New workbook圖標，新建一個workbook。

如果你接觸過Jupyter Notebook，那么workbook可以看成是Jupyter Notebook的加強版。如果你沒接觸過，那么簡單來說，workbook是內(nèi)嵌代碼的文檔，其中的代碼是可以直接運行的。

workbook是左右雙欄，左邊是源代碼，右邊顯示結果。

我們注意到，左邊默認提供了一些常用操作，包括load dataset（加載數(shù)據(jù)集）、standard imports（標準導入），等等。如果你接觸過JetBrains家的IDE，那么你應該已經(jīng)意識到，這是JetBrains系列IDE廣受贊譽的意圖行動（intention actions）功能。

我們首先要做的是引入相應的庫，當把鼠標懸浮到standard imports（標準導入）后，會有懸浮提示，告訴我們所謂的標準導入包括numpy、pandas、matplotlib，還有datalore定制的一個繪圖庫。如果你打算做一點數(shù)據(jù)分析，或者數(shù)據(jù)可視化的工作，那這個標準導入就很方便。只需點擊一下就可以自動生成導入語句，不用一行一行敲了。

不過我打算試下機器學習，所以就不用這個標準導入了。我將導入TensorFlow：

import tensorflow as tf

咦，我只輸了i、m兩個字母，workbook界面就出現(xiàn)了這個：

是啊，JetBrains出品的東西怎么少得了自動補全呀？按回車就好，不用一個一個字母敲了。

然后我輸入tensorflow。咦？沒有補全。感覺不太妙。

果然，tensorflow顯示為紅色，意味著出問題了。再看右邊，是報錯信息，提示沒有tensorflow這個模塊。

看來tensorflow沒有預裝。我們裝一下。菜單選擇Tools（工具）->Library Manager（庫管理器），輸入tensorflow搜索。

鼠標點下就可以裝了，右邊還有下拉菜單可以選版本。

稍等片刻就裝好了，其間會彈出窗口顯示安裝信息，等看到綠色的Installation complete（安裝完成）就說明安裝成功了?？梢渣cClose（關閉）把窗口關了。

由于安裝了新的包，Datalore會提示你需要重啟內(nèi)核（restart kernel），確認就可以了。然后我們看到，報錯信息消失了。我們可以接著鍵入as tf了。

然后我們需要加載數(shù)據(jù)集。點擊load dataset，可以看到，其中包括了一些常用的數(shù)據(jù)集。

前面我已經(jīng)說過，我打算試下機器學習。而且我剛安裝了TensorFlow。那TensorFlow入門最經(jīng)典的數(shù)據(jù)集就是MNIST，Datalore也提供了。

不過么……

“花書”作者Ian Goodfellow、Keras作者Fran?ois Chollet一起炮轟MNIST

上面的推特就不逐字逐句翻譯了，大意就是MNIST不能代表現(xiàn)代的計算機視覺任務，學術界不應該老是用MNIST。

所以我也趕下時髦，換個數(shù)據(jù)集用用。好吧，我只是找了個借口，不管怎么說，MNIST用來入門還是不錯的。其實我只是看了太多MNIST的入門教程，有點審美疲勞了。

手寫數(shù)字看厭了，畢竟數(shù)字又不能當飯吃。不如換成衣服、鞋子吧，雖然也不能吃，好歹可以穿啊。

隆重介紹MNIST的時尚版，F(xiàn)ashion-MNIST。

TensorFlow的API寫起來還是有點啰嗦，所以我決定使用Keras。而且，Keras的datasets模塊自帶獲取和加載Fashion-MNIST的方法。

按照之前描述的方法，通過Library Manager安裝Keras后，加載Fashion-MNIST數(shù)據(jù)集：

from keras.datasets import fashion_mnist

(x_train, y_train), (x_test, y_test) = fashion_mnist.load_data()

好吧，這行代碼看著稍微有點長，其實在Datalore里打起來非?？?，因為很多地方稍微敲一兩個字母就可以一路補全下去。與此同時，我們能在右邊看到，Datalore會自動幫我們下載數(shù)據(jù)集，并在下載完成后自動加載數(shù)據(jù)集。

好了。數(shù)據(jù)集加載好了，下面我們將構建一個模型分類服飾。分類圖像最常用的是卷積神經(jīng)網(wǎng)絡，這也是我們的選擇。圖像的每個像素是由整數(shù)表示的（0-255的亮度值），為了提高訓練的效率，我們需要首先將其歸一化：

x_train = x_train.astype('float32') / 255

x_train = x_train.reshape(x_train.shape[0], 28, 28, 1)

x_test = x_test.astype('float32') / 255

x_test = x_test.reshape(x_test.shape[0], 28, 28, 1)

除了歸一化外，我們還順便重整了一下數(shù)據(jù)的形狀為28, 28, 1（Fashion-MNIST中的圖像為28x28的灰度圖像）。

和MNIST一樣，F(xiàn)ashion-MNIST中的圖像分屬10類：

圖片來源：Margaret Maynard-Reid

在數(shù)據(jù)集中，標簽（y_train）是類別變量，具體而言，是取值范圍為0-9的整數(shù)。一般而言，為了便于模型利用，我們需要將其轉(zhuǎn)成one hot編碼。y_test同理。

y_train = keras.utils.to_categorical(y_train, 10)

y_test = keras.utils.to_categorical(y_test, 10)

這里有一個提高效率的小技巧。在輸完y_train這行后，按Ctrl + D（Mac OS X下是Command + D），可以復制當前行。之后將復制行中的兩個y_train改成y_test就可以了。

設計預處理完畢，接著就是設計模型了。由于本文的主題不是關于如何設計卷積網(wǎng)絡，因此我這里就偷個懶，直接使用Keras自帶的MNIST分類器樣例（examples/mnist_cnn.py），看看這個為MNIST設計的CNN分類器在Fashion-MNIST上的效果如何。

model = Sequential()

model.add(Conv2D(32, kernel_size=(3, 3),

activation='relu',

input_shape=(28, 28, 1)))

model.add(Conv2D(64, (3, 3), activation='relu'))

model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Dropout(0.25))

model.add(Flatten())

model.add(Dense(128, activation='relu'))

model.add(Dropout(0.5))

model.add(Dense(10, activation='softmax'))

這個CNN網(wǎng)絡模型還是比較簡單的。我們有兩個卷積層（均使用3x3的卷積核和ReLU激活），之后加上最大池化層，然后是Dropout層和全連接層，最后，因為需要預測10個分類，所以順理成章地在輸出層中使用了softmax激活。

接下來我們編譯模型，因為是分類問題，所以損失函數(shù)很自然地使用了交叉熵。優(yōu)化使用了Adadelta，這是Matthew D. Zeiler在2012年底提出的一種優(yōu)化算法，使用自適應的學習率。

model.compile(loss=keras.losses.categorical_crossentropy,

optimizer=keras.optimizers.Adadelta(),

metrics=['accuracy'])

然后就是訓練和評估，并輸出結果：

model.compile(loss=keras.losses.categorical_crossentropy,

optimizer=keras.optimizers.Adadelta(),

metrics=['accuracy'])

model.fit(x_train, y_train,

batch_size=128,

epochs=20,

verbose=1,

validation_data=(x_test, y_test))

score = model.evaluate(x_test, y_test, verbose=0)

print('測試損失', score[0])

print('測試精確度', score[1])

由于Datalore目前為免費公測階段，只有t2.medium規(guī)格的AWS主機可用（2核、4 GB內(nèi)存），因此，大約需要等1小時完成訓練。等以后正式上線了，會有GPU主機可用（p2.xlarge，4 cpu核心、1 gpu核心、61GB 內(nèi)存，12 GB顯存）。當然，你也可以嘗試去Datalore官方論壇申請GPU主機。

結果：

測試損失 0.22063894088864328

測試精確度 0.9295

20個epoch后精確度超過90%，比我預料中的表現(xiàn)要好。

看到這個結果，我有點好奇這個模型在MNIST上的表現(xiàn)有多好。Keras文檔告訴我精確度超過99%，不過，俗話說得好，耳聽為虛，眼見為實。我想親自試一試。

實際上，上面的代碼只需改動兩處，就可以變?yōu)榉诸怣NIST。

將開頭兩行中的fashion_mnist替換為mnist:

from keras.datasets import mnist

(x_train, y_train), (x_test, y_test) = mnist.load_data()

其他的都不用動。就這么簡單！

不過，在此之前，先讓我們保存一下當前的版本，以備以后繼續(xù)使用。

通過菜單Tools->Add history checkpoint，我們可以添加一個checkpoint，比如說，起名為keras-mnist-cnn.

然后，通過菜單Tools->History，我們可以查看workbook的歷史。其中，第一個checkpoint是創(chuàng)建workbook時的狀態(tài)。除此之外，勾選左上角的Show inactivity checkpoints之后，我們能看到很多Datalore自動保存的checkpoint，你再也不用擔心不小心丟失代碼了。沒錯，如果你接觸過JetBrain系的IDE，這就是其歷史功能。

你不僅可以查看不同的checkpoint，還可以比較不同checkpoint之間的區(qū)別：

這個功能在調(diào)bug的時候是非常方便的。說到調(diào)bug，在Datalore下調(diào)bug還是比較方便的。比如，假設我們把模型的輸入形狀改一下，故意改成錯誤的：

這雖然是一個故意編造的簡單錯誤，但確實是可能出現(xiàn)的錯誤。因為有的情況下，頻道是放在最前的。有的時候不小心，就會出現(xiàn)這種失誤。

一旦我們做了這個改動后，Datalore幾乎立刻反應過來。

從上圖我們可以看到：

代碼單元左邊框為紅色，提示我們這里有誤。正常情況下，左邊框為閃爍的綠色（提示正在進行運算）或黃色（提示運算完成）。

右側(cè)結果為報錯的Trackback.

左側(cè)代碼的出錯行有紅色波浪線標識。懸浮鼠標于其上，我們能看到報錯信息，如下圖所示。

其實很多地方，懸浮鼠標都能給出相應的提示，比如懸浮到y(tǒng)_train后，會提示這是一個變量（而不是函數(shù)），甚至Datalore能推斷其類型numpy.ndarray。

而單擊一個變量后，Datalore會高亮這一變量的所有用例：

從上圖我們可以看到，Datalore沒有直接簡單粗暴地匹配字符串，最后兩行中，注釋和字符串里的x_test并沒有高亮。

好了，說了這么多。讓我們回到之前的MNIST數(shù)據(jù)集訓練上來。如前所述將兩處fashion_mnist替換為mnist后，我們在MNIST數(shù)據(jù)集上訓練模型，并評估其表現(xiàn)。

最終訓練了一個多小時（和Fashion-MNIST時間差不多，畢竟這兩個數(shù)據(jù)集的圖像規(guī)格是一樣的，都是28x28的灰度圖像），20個epoch后精確度為0.9918，看來Keras文檔所言不虛。

當然，除了代碼之外，workbook里還能寫文檔。文檔使用Markdown格式，加上了LaTeX公式擴展。

另外，線上開發(fā)環(huán)境的一大優(yōu)勢就是方便協(xié)作。Datalore也不例外。通過菜單File->Share即可邀請別人協(xié)作，一起開發(fā)。

分享共有3種方式：

輸入Datalore用戶名或郵箱，邀請對方協(xié)作開發(fā)。

分享一個鏈接，通過這個鏈接訪問的用戶可以協(xié)作開發(fā)。

同樣是分享一個鏈接，只不過這是一個只讀鏈接，通過這個鏈接訪問的用戶只能查看，無法修改。

最后，附上快捷鍵列表（有些已經(jīng)在前文中介紹過）：

C-空格（C在mac os x上是Command鍵，其他平臺上是ctrl鍵）可以觸發(fā)自動補全。

C-d重復當前行

在Markdown單元中，按alt + 左右方向鍵可以在單詞間跳轉(zhuǎn)。