十三個(gè)框架助你掌握機(jī)器學(xué)習(xí)

　　Apache Spark MLlib

　　Apache Spark 最為人所知的是它是Hadoop家族的一員，但是這個(gè)內(nèi)存數(shù)據(jù)處理框架卻是脫胎于Hadoop之外，也正在Hadoop生態(tài)系統(tǒng)以外為自己獲得了名聲。Hadoop 已經(jīng)成為可供使用的機(jī)器學(xué)習(xí)工具，這得益于其不斷增長(zhǎng)的算法庫，這些算法可以高速度應(yīng)用于內(nèi)存中的數(shù)據(jù)。。

　　早期版本的Spark 增強(qiáng)了對(duì)MLib的支持，MLib是主要面向數(shù)學(xué)和統(tǒng)計(jì)用戶的平臺(tái)，它允許 通過持久化管道特性將Spark機(jī)器學(xué)習(xí)工作掛起和恢復(fù)。2016年發(fā)布的Spark2.0，對(duì)Tungsten高速內(nèi)存管理系統(tǒng)和新的DataFrames流媒體API 進(jìn)行了改進(jìn)，這兩點(diǎn)都會(huì)提升機(jī)器學(xué)習(xí)應(yīng)用的性能。

　　H2O

　　H2O，現(xiàn)在已經(jīng)發(fā)展到第三版，可以提供通過普通開發(fā)環(huán)境（Python， Java， Scala， R）、大數(shù)據(jù)系統(tǒng)（Hadoop， Spark）以及數(shù)據(jù)源（HDFS， S3， SQL， NoSQL）訪問機(jī)器學(xué)習(xí)算法的途徑。H2O是用于數(shù)據(jù)收集、模型構(gòu)建以及服務(wù)預(yù)測(cè)的端對(duì)端解決方案。例如，可以將模型導(dǎo)出為Java代碼，這樣就可以在很多平臺(tái)和環(huán)境中進(jìn)行預(yù)測(cè)。

　　H2O可以作為原生Python庫，或者是通過Jupyter Notebook， 或者是 R Studio中的R 語言來工作。這個(gè)平臺(tái)也包含一個(gè)開源的、基于web的、在H2O中稱為Flow的環(huán)境，它支持在訓(xùn)練過程中與數(shù)據(jù)集進(jìn)行交互，而不只是在訓(xùn)練前或者訓(xùn)練后。

　　Apache Singa

　　“深度學(xué)習(xí)”框架增強(qiáng)了重任務(wù)類型機(jī)器學(xué)習(xí)的功能，如自然語言處理和圖像識(shí)別。Singa是一個(gè)Apache的孵化器項(xiàng)目，也是一個(gè)開源框架，作用是使在大規(guī)模數(shù)據(jù)集上訓(xùn)練深度學(xué)習(xí)模型變得更簡(jiǎn)單。

　　Singa提供了一個(gè)簡(jiǎn)單的編程模型，用于在機(jī)器群集上訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，它支持很多普通類型的訓(xùn)練工作：卷積神經(jīng)網(wǎng)絡(luò)，受限玻爾茲曼機(jī) 以及循環(huán)神經(jīng)網(wǎng)絡(luò)。 模型可以同步訓(xùn)練（一個(gè)接一個(gè)）或者也異步（一起）訓(xùn)練，也可以允許在在CPU和GPU群集上，很快也會(huì)支持FPGA。Singa也通過Apache Zookeeper簡(jiǎn)化了群集的設(shè)置。

　　Caffe2

　　深度學(xué)習(xí)框架Caffe開發(fā)時(shí)秉承的理念是“表達(dá)、速度和模塊化”，最初是源于2013年的機(jī)器視覺項(xiàng)目，此后，Caffe還得到擴(kuò)展吸收了其他的應(yīng)用，如語音和多媒體。

　　因?yàn)樗俣确旁趦?yōu)先位置 ，所以Caffe完全用C+ +實(shí)現(xiàn)，并且支持CUDA加速，而且根據(jù)需要可以在CPU和GPU處理間進(jìn)行切換。分發(fā)內(nèi)容包括免費(fèi)的用于普通分類任務(wù)的開源參考模型，以及其他由Caffe用戶社區(qū)創(chuàng)造和分享的模型。

　　一個(gè)新的由Facebook 支持的Caffe迭代版本稱為Caffe2，現(xiàn)在正在開發(fā)過程中，即將進(jìn)行1.0發(fā)布。其目標(biāo)是為了簡(jiǎn)化分布式訓(xùn)練和移動(dòng)部署，提供對(duì)于諸如FPGA等新類型硬件的支持，并且利用先進(jìn)的如16位浮點(diǎn)數(shù)訓(xùn)練的特性。

　　Google的TensorFlow

　　與微軟的DMTK很類似，Google TensorFlow是一個(gè)機(jī)器學(xué)習(xí)框架，旨在跨多個(gè)節(jié)點(diǎn)進(jìn)行擴(kuò)展。 就像Google的 Kubernetes一樣，它是是為了解決google內(nèi)部的問題而設(shè)計(jì)的，google最終還是把它作為開源產(chǎn)品發(fā)布出來。

　　TensorFlow實(shí)現(xiàn)了所謂的數(shù)據(jù)流圖，其中的批量數(shù)據(jù)（“tensors”）可以通過圖描述的一系列算法進(jìn)行處理。系統(tǒng)中數(shù)據(jù)的移動(dòng)稱為“流”-其名也因此得來。這些圖可以通過C++或者Python實(shí)現(xiàn)并且可以在CPU和GPU上進(jìn)行處理。

　　TensorFlow近來的升級(jí)提高了與Python的兼容性，改進(jìn)了GPU操作，也為TensorFlow能夠運(yùn)行在更多種類的硬件上打開了方便之門，并且擴(kuò)展了內(nèi)置的分類和回歸工具庫。