ios10中神經(jīng)網(wǎng)絡(luò)分析

　長期以來，蘋果公司一直在其產(chǎn)品中使用了機(jī)器學(xué)習(xí)：Siri回答我們的問題，并供我們娛樂；iPhoto能在我們的照片中進(jìn)行人臉識別；Mail app能檢測垃圾郵件。作為應(yīng)用開發(fā)者，我們已經(jīng)利用了蘋果的API提供的一些功能，如人臉檢測，并且從iOS10開始，我們將獲得能用于語音識別和SiriKit的高級API。
　　有時候，我們可能想超越平臺內(nèi)置API的限制，創(chuàng)造獨(dú)一無二的東西。但更多的時候，我們是使用了一些現(xiàn)成的庫或直接建于Accelerate或Metal的快速計算功能之上，推出自己的機(jī)器學(xué)習(xí)功能。
　　例如，我的同事專為辦公室建立了一個錄入系統(tǒng)，只使用一臺可檢測人臉的iPad，然后在Slack投遞一個gif，并允許用戶通過自定義命令開門。
　　
　　但是現(xiàn)在，我們有了用于神經(jīng)網(wǎng)絡(luò)的第一方支持：在2016年的WWDC上，蘋果公司推出了兩個神經(jīng)網(wǎng)絡(luò)的API，分別稱為基礎(chǔ)神經(jīng)網(wǎng)絡(luò)子程序（BNNS）和卷積神經(jīng)網(wǎng)絡(luò)（CNN）。
　　機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)
　　AI先驅(qū)Arthur Samuel將機(jī)器學(xué)習(xí)定義為“沒有明確編程的情況下，給予計算機(jī)學(xué)習(xí)能力的研究領(lǐng)域”。人們用機(jī)器學(xué)習(xí)系統(tǒng)理解一些數(shù)據(jù)的意義，而這些數(shù)據(jù)不能很容易地使用傳統(tǒng)模型來描述。
　　例如，編寫一段計算房子建筑面積的程序很容易，我們可以考慮到所有房間和其他空間的規(guī)模和形狀，但是卻不能在公式中計算房子的價值；而另一方面，機(jī)器學(xué)習(xí)系統(tǒng)卻非常適合解決這樣的問題。通過給系統(tǒng)提供已知的具體數(shù)據(jù)，如市場價值、房屋尺寸、臥室數(shù)量等，從而可以利用它預(yù)測價格。
　　神經(jīng)網(wǎng)絡(luò)是構(gòu)建機(jī)器學(xué)習(xí)系統(tǒng)最常用的模型之一。早在半個多世紀(jì)前的1940年，已經(jīng)發(fā)展了神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)基礎(chǔ)，而上世紀(jì)80年代，并行計算才使其更為可行；并且到了2000年，人們對于深度學(xué)習(xí)的興趣又引發(fā)了神經(jīng)網(wǎng)絡(luò)的回潮。
　　神經(jīng)網(wǎng)絡(luò)由多個層構(gòu)造，其中每個層由一個或多個節(jié)點(diǎn)組成。最簡單的神經(jīng)網(wǎng)絡(luò)具有三層：輸入、隱藏和輸出。輸入層節(jié)點(diǎn)可以代表圖像中的各個像素或一些其他參數(shù)；如果我們試著自動檢測照片的內(nèi)容，輸出層節(jié)點(diǎn)則經(jīng)常作為分類的結(jié)果，例如“狗”或“貓”；隱藏層節(jié)點(diǎn)配置為對輸入執(zhí)行操作，或配置為應(yīng)用激活函數(shù)。
　　
　　層類型
　　三種常見的層的類型為：池化（pooling）層、卷積層和全連接層。
　　池化層通常通過使用輸入的最大值或平均值來匯集數(shù)據(jù)，降低其大小。一系列的卷積和池化層可以結(jié)合起來，用于將照片逐步提煉成越來越高層次的特征集合。
　　卷積層將卷積矩陣用于圖像的每個像素，實(shí)現(xiàn)圖像變換。如果你已經(jīng)用過Pixelmator或Photoshop濾鏡，那你很可能也用過了卷積矩陣。卷積矩陣通常是一個3×3或5×5的矩陣，被施加到輸入圖像的像素中，以計算輸出圖像中新的像素值。為獲得輸出像素值，我們就乘以原圖像中的像素值，并計算平均值。
　　例如，該卷積矩陣用于圖像模糊：
　　1 1 1 1 1 1 1 1 1
　　而下面的矩陣能夠銳化圖像：
　　0 -1 0 -15-10 -1 0
　　神經(jīng)網(wǎng)絡(luò)的卷積層使用卷積矩陣處理輸入，并產(chǎn)生下一層的數(shù)據(jù)。例如，提取圖像中的諸如邊緣特征的新特性。
　　全連接層可以被認(rèn)為是濾波器尺寸和原始圖像相同的卷積層。換句話說，你可以這么認(rèn)為，全連接層是一個函數(shù)，能夠?yàn)槊總€像素分配權(quán)重，平均其結(jié)果，然后給出單個的輸出值。
　　訓(xùn)練和推理
　　每一層都需要配置適當(dāng)?shù)膮?shù)。例如，卷積層需要輸入和輸出圖像的信息（規(guī)模、通道數(shù)目等），也需要卷積層參數(shù)（內(nèi)核大小、矩陣等）。全連接層通過輸入和輸出向量、激活函數(shù)和權(quán)重來定義。
　　要獲得這些參數(shù)，必須訓(xùn)練神經(jīng)網(wǎng)絡(luò)。需要以下幾步才能完成：通過神經(jīng)網(wǎng)絡(luò)傳遞輸入，確定輸出，測量誤差（即實(shí)際結(jié)果與預(yù)測結(jié)果相差多遠(yuǎn)），并通過反向傳播調(diào)整權(quán)重。訓(xùn)練神經(jīng)網(wǎng)絡(luò)可能需要數(shù)百、數(shù)千甚至成千上萬的樣本。
　　目前，蘋果公司新的機(jī)器學(xué)習(xí)API，可用于構(gòu)建只做推理的神經(jīng)網(wǎng)絡(luò)，而不是訓(xùn)練。這都是Big Nerd Ranch的功勞。
　　Accelerate： BNNS
　　第一個新的API是Accelerate框架的一部分，被稱為基礎(chǔ)神經(jīng)網(wǎng)絡(luò)子程序（BNNS，Basic Neural Network Subroutines）。BNNS補(bǔ)充了BLAS（基礎(chǔ)線性代數(shù)子程序），并用于一些第三方的機(jī)器學(xué)習(xí)應(yīng)用。
　　BNNS在BNNSFilter類中定義層。Accelerate支持三種類型的層：
　　卷積層（由BNNSFilterCreateConvolutionLayer函數(shù)創(chuàng)建）全連接層（BNNSFilterCreateFullyConnectedLayer）池化層（BNNSFilterCreatePoolingLayer）
　　MNIST 數(shù)據(jù)庫是一個眾所周知的數(shù)據(jù)集，包含數(shù)以萬計的手寫數(shù)字，用于掃描和調(diào)整，以適應(yīng)20乘20像素的圖像。
　　一種處理圖像數(shù)據(jù)的方法是將圖像轉(zhuǎn)換成矢量，并使之通過一個全連接層。對于MNIST數(shù)據(jù)，一個20×20的圖像將成為400個值的矢量。下面展示了如何將手寫的數(shù)字“1”轉(zhuǎn)換為向量：
　　
　　下面是配置全連接層的實(shí)例代碼，該層將大小為400的矢量作為輸入，采用S形的激活函數(shù)，輸出矢量大小為25：
　　// input layer deor BNNSVectorDeor i_desc = { .size= 400， .data_type = BNNSDataTypeFloat32， .data_scale = 0， .data_bias = 0， };// hidden layer deor BNNSVectorDeor h_desc = { .size= 25， .data_type = BNNSDataTypeFloat32， .data_scale = 0， .data_bias = 0， };// activation function BNNSActivation activation = { .function= BNNSActivationFunctionSigmoid， .alpha= 0， .beta= 0， };BNNSFullyConnectedLayerParameters in_layer_params = { .in_size = i_desc.size， .out_size = h_desc.size， .activation= activation， .weights.data= theta1， .weights.data_type = BNNSDataTypeFloat32， .bias.data_type = BNNSDataTypeFloat32， };// Common filter parameters BNNSFilterParameters filter_params = { .version= BNNSAPIVersion_1_0; // API version is mandatory};// Create a new fully connected layer filter （ih = input-to-hidden） BNNSFilter ih_filter = BNNSFilterCreateFullyConnectedLayer（&i_desc， &h_desc， &in_layer_params， &filter_params）;float * i_stack = bir; // （float *）calloc（i_desc.size， sizeof（float））;float * h_stack = （float *）calloc（h_desc.size， sizeof（float））;float * o_stack = （float *）calloc（o_desc.size， sizeof（float））;int ih_status = BNNSFilterApply（ih_filter， i_stack， h_stack）;
　　Metal！
　　該部分會得到更多的Metal嗎？確實(shí)是的，因?yàn)榈诙€神經(jīng)網(wǎng)絡(luò)API是Metal Performance Shaders（MPS）框架的一部分。Accelerate是在CPU上進(jìn)行快速計算的框架，而Metal將GPU發(fā)揮了極致。Metal的特點(diǎn)是卷積神經(jīng)網(wǎng)絡(luò)（CNN，Convolution Neural Network）。
　　MPS自帶了一個類似的API集。
　　創(chuàng)建卷積層需要使用MPSCNNConvolutionDeor和MPSCNNConvolution函數(shù)。MPSCNNPoolingMax將為池化層提供參數(shù)。全連接層由MPSCNNFullyConnected函數(shù)創(chuàng)建。激活函數(shù)由MPSCNNNeuron的子類定義：
　　MPSCNNNeuronLinearMPSCNNNeuronReLUMPSCNNNeuronSigmoidMPSCNNNeuronTanHMPSCNNNeuronAbsolute
　　BNNS和CNN的比較
　　下表為Accelerate和Metal激活函數(shù)列表：
　　Accelerate/BNNS
　　Metal Performance Shaders/CNN
　　BNNSActivationFunctionIdentity
　　BNNSActivationFunctionRectifiedLinear MPSCNNNeuronReLU
　　MPSCNNNeuronLinear
　　BNNSActivationFunctionLeakyRectifiedLinear
　　BNNSActivationFunctionSigmoid MPSCNNNeuronSigmoid
　　BNNSActivationFunctionTanh MPSCNNNeuronTanH
　　BNNSActivationFunctionScaledTanh
　　BNNSActivationFunctionAbs MPSCNNNeuronAbsolute
　　池化函數(shù)：
　　Accelerate/BNNS
　　Metal Performance Shaders/CNN
　　BNNSPoolingFunctionMax MPSCNNPoolingMax
　　BNNSPoolingFunctionAverage MPSCNNPoolingAverage
　　Accelerate和Metal為神經(jīng)網(wǎng)絡(luò)提供的一組函數(shù)功能非常相似，所以二者選擇取決于每個應(yīng)用程序。GPU通常首選各種機(jī)器學(xué)習(xí)所需的計算，而數(shù)據(jù)局部性可能會導(dǎo)致Metal CNN的運(yùn)行性能比Accelerate BNNS版本要差。如果神經(jīng)網(wǎng)絡(luò)對已存入GPU的圖像進(jìn)行操作，例如，使用MPSImage和新MPSTemporaryImage時，很明顯，這時更適合用Metal。
?