了解一下機器學習中的基礎知識

機器學習中涉及到了很多的概念，當然要想了解機器學習的話就需要對這些基礎知識有一個深入的了解才能夠入門機器學習，那么機器學習的基礎知識都有哪些呢？本文給大家列舉一下機器學習的基礎知識。

（1）準確率的概念，準確率就是分類模型預測準確的比例。

（2）AUC（曲線下面積）則是一種考慮到所有可能的分類閾值的評估標準。ROC 曲線下面積代表分類器隨機預測真正類要比假正類概率大的確信度。

（3）激活函數(shù)就是一種函數(shù)，也就是將前一層所有神經(jīng)元激活值的加權(quán)和輸入到一個非線性函數(shù)中，然后向下一層傳遞該函數(shù)的輸出值。

（4）AdaGrad是一種復雜的梯度下降算法，重新調(diào)節(jié)每個參數(shù)的梯度，高效地給每個參數(shù)一個單獨的學習率。這些知識都是需要我們要了解的。

（5）在機器學習中，反向傳播神經(jīng)網(wǎng)絡中完成梯度下降的重要算法。首先，在前向傳播的過程中計算每個節(jié)點的輸出值。然后，在反向傳播的過程中計算與每個參數(shù)對應的誤差的偏導數(shù)。

（6）基線就是被用為對比模型表現(xiàn)參考點的簡單模型?；€幫助模型開發(fā)者量化模型在特定問題上的預期表現(xiàn)。

（7）批量就是指模型訓練中一個迭代使用的樣本集。批量大小就是一個批量中樣本的數(shù)量。批量大小通常在訓練與推理的過程中確定。

（8）偏置就是與原點的截距或偏移量。偏置被稱為機器學習模型中的 b 或者 w0。而二元分類器一類分類任務，輸出兩個互斥（不相交）類別中的一個。binning/bucketing則是根據(jù)值的范圍將一個連續(xù)特征轉(zhuǎn)換成多個稱為 buckets 或者 bins二元特征，稱為 buckets或者bins。

（9）檢查點則是在特定的時刻標記模型的變量的狀態(tài)的數(shù)據(jù)。檢查點允許輸出模型的權(quán)重，也允許通過多個階段訓練模型。檢查點還允許跳過錯誤繼續(xù)進行。注意其自身的圖式并不包含于檢查點內(nèi)。

（10）候選采樣是一種優(yōu)化訓練時間的方式，使用 Softmax 等算法計算所有正標簽的概率，同時只計算一些隨機取樣的負標簽的概率。這個想法的思路是，負類別可以通過頻率更低的負強化進行學習，而正類別經(jīng)常能得到適當?shù)恼龔娀瑢嶋H觀察確實如此。候選取樣的動力是計算有效性從所有負類別的非計算預測的得益。

（11）標定層是一種調(diào)整后期預測的結(jié)構(gòu)，通常用于解釋預測偏差。調(diào)整后的預期和概率必須匹配一個觀察標簽集的分布。

（12）分類模型是機器學習模型的一種，將數(shù)據(jù)分離為兩個或多個離散類別。分類模型與回歸模型成對比。

（13）類別是所有同類屬性的目標值作為一個標簽。

（14）類別不平衡數(shù)據(jù)集是一個二元分類問題，其中兩個類別的標簽的分布頻率有很大的差異。

（15）收斂就是訓練過程達到的某種狀態(tài)，其中訓練損失和驗證損失在經(jīng)過了確定的迭代次數(shù)后，在每一次迭代中，改變很小或完全不變。換句話說就是，當對當前數(shù)據(jù)繼續(xù)訓練而無法再提升模型的表現(xiàn)水平的時候，就稱模型已經(jīng)收斂。在深度學習中，損失值下降之前，有時候經(jīng)過多次迭代仍保持常量或者接近常量，會造成模型已經(jīng)收斂的錯覺。

（16）混淆矩陣就是總結(jié)分類模型的預測結(jié)果的表現(xiàn)水平的 N×N 表格。混淆矩陣的一個軸列出模型預測的標簽，另一個軸列出實際的標簽。N 表示類別的數(shù)量。在一個二元分類模型中，N=2。多類別分類的混淆矩陣可以幫助發(fā)現(xiàn)錯誤出現(xiàn)的模式?；煜仃嚢俗銐蚨嗟?a target="_blank">信息可以計算很多的模型表現(xiàn)度量，比如精度和召回率。

（17）連續(xù)特征擁有無限個取值點的浮點特征。和離散特征相反。

（18）分類閾值應用于模型的預測分數(shù)以分離正類別和負類別的一種標量值標準。當需要將 logistic 回歸的結(jié)果映射到二元分類模型中時就需要使用分類閾值。

（19）凸函數(shù)就是一種形狀大致呈字母 U 形或碗形的函數(shù)。然而，在退化情形中，凸函數(shù)的形狀就像一條線。凸函數(shù)是很常用的損失函數(shù)。因為當一個函數(shù)有最小值的時候，梯度下降的各種變化都能保證找到接近函數(shù)最小值的點。類似的，隨機梯度下降的各種變化有很大的概率找到接近函數(shù)最小值的點。兩個凸函數(shù)相加后仍然是凸函數(shù)。深度模型通常是非凸的。

（20）早期停止法就是一種正則化方法，在訓練損失完成下降之前停止模型訓練過程。當驗證數(shù)據(jù)集的損失開始上升的時候，即泛化表現(xiàn)變差的時候，就該使用早期停止法了。

（21）交叉熵就是多類別分類問題中對 Log 損失函數(shù)的推廣。交叉熵量化兩個概率分布之間的區(qū)別。

（22）密集特征就是大多數(shù)取值為非零的一種特征，通常用取浮點值的張量表示。和稀疏特征相反。

（23）派生特征是合成特征的同義詞。

（24）離散特征就是只有有限個可能取值的一種特征。和連續(xù)特征（continuous feature）對照。

（25）dropout 正則化就是訓練神經(jīng)網(wǎng)絡時一種有用的正則化方法。dropout 正則化的過程是在單次梯度計算中刪去一層網(wǎng)絡中隨機選取的固定數(shù)量的單元。刪去的單元越多，正則化越強。

（26）動態(tài)模型是以連續(xù)更新的方式在線訓練的模型。即數(shù)據(jù)連續(xù)不斷的輸入模型。

（27）數(shù)據(jù)集就是樣本的集合。

（28）決策邊界在一個二元分類或多類別分類問題中模型學習的類別之間的分離器。

（29）深度模型是一種包含多個隱藏層的神經(jīng)網(wǎng)絡。深度模型依賴于其可訓練的非線性性質(zhì)。和寬度模型對照。

（30）假負類就是被模型錯誤的預測為負類的樣本。

（31）假正類就是被模型錯誤的預測為正類的樣本。

（32）假正類率的概念就是在ROC 曲線（ROC curve）中的 x 軸。FP 率的定義是：假正率=假正類數(shù)/（假正類數(shù)+真負類數(shù)）

（33）特征就是輸入變量，用于做出預測。

（34）特征列就是具有相關性的特征的集合，一個樣本的一個特征列中可能會有一個或者多個特征。特征的數(shù)據(jù)類型；一個特征是固定長度的或應該轉(zhuǎn)換為嵌入。一個特征列可以僅包含一個特征。

（35）特征交叉就是將特征進行交叉（乘積或者笛卡爾乘積）運算后得到的合成特征。特征交叉有助于表示非線性關系。

（36）特征工程就是在訓練模型的時候，決定哪些特征是有用的，然后將記錄文件和其它來源的原始數(shù)據(jù)轉(zhuǎn)換成上述特征的過程。

（37）特征集就是機器學習模型訓練的時候使用的特征群。

（38）特征定義就是描述所需的信息從 tf.Example 協(xié)議緩存中提取特征數(shù)據(jù)。因為 tf.Example 協(xié)議緩存只是數(shù)據(jù)的容器，必須明確以下信息：

（39）嵌入就是連續(xù)值特征的明確的特征。嵌入通常指將高維向量轉(zhuǎn)換到低維空間中。

在 TensorFlow 中，嵌入是通過反向傳播損失訓練的，正如神經(jīng)網(wǎng)絡的其它參量一樣。

（40）經(jīng)驗風險最小化就是選擇能最小化訓練數(shù)據(jù)的損失的模型函數(shù)的過程。和結(jié)構(gòu)風險最小化（structual risk minimization）對照。

（41）集成就是多個模型預測的綜合考慮。可以通過以下一種或幾種方法創(chuàng)建一個集成方法，這些方法分別是設置不同的初始化、設置不同的超參量。設置不同的總體結(jié)構(gòu)。而深度和廣度模型是一種集成。

（42）樣本就是一個數(shù)據(jù)集的一行內(nèi)容。一個樣本包含了一個或多個特征，也可能是一個標簽。樣本有標注樣本和無標注樣本。

（43）梯度就是所有變量的偏導數(shù)的向量。在機器學習中，梯度是模型函數(shù)的偏導數(shù)向量。梯度指向最陡峭的上升路線。

（44）梯度截斷就是在應用梯度之前先修飾數(shù)值，梯度截斷有助于確保數(shù)值穩(wěn)定性，防止梯度爆炸出現(xiàn)。

（45）梯度下降是通過計算模型的相關參量和損失函數(shù)的梯度最小化損失函數(shù)，值取決于訓練數(shù)據(jù)。梯度下降迭代地調(diào)整參量，逐漸靠近權(quán)重和偏置的最佳組合，從而最小化損失函數(shù)。

（46）圖在 TensorFlow 中的一種計算過程展示。圖中的節(jié)點表示操作。節(jié)點的連線是有指向性的，表示傳遞一個操作的結(jié)果給另一個操作。使用 TensorBoard 能可視化計算圖。

（47）泛化是指模型利用新的沒見過的數(shù)據(jù)而不是用于訓練的數(shù)據(jù)作出正確的預測的能力。

（48）廣義線性模型就是最小二乘回歸模型的推廣/泛化，基于高斯噪聲，相對于其它類型的模型，這種模型基于其它類型的噪聲，比如泊松噪聲，或類別噪聲等等。廣義線性模型的例子包括很多，比如logistic回歸、多分類回歸、最小二乘回歸。而廣義線性模型的參數(shù)可以通過凸優(yōu)化得到，它的性質(zhì)有很多，第一就是最理想的最小二乘回歸模型的平均預測結(jié)果等于訓練數(shù)據(jù)的平均標簽。第二就是最理想的 logistic 回歸模型的平均概率的預測結(jié)果等于訓練數(shù)據(jù)的平均標簽。第三就是廣義線性模型的能力局限于其特征的性質(zhì)。和深度模型不同，一個廣義線性模型無法學習新的特征。

（49）啟發(fā)式就是一個問題的實際的和非最優(yōu)的解，但能從學習經(jīng)驗中獲得足夠多的進步。

（50）折頁損失函數(shù)就是損失函數(shù)的一個類型，用于分類模型以尋找距離每個樣本的距離最大的決策邊界，即最大化樣本和邊界之間的邊緣。

責任編輯：lq6