機器學習問題和知識點

機器學習是一門理論性和實戰(zhàn)性都比較強的技術學科。在應聘機器學習相關工作崗位時，我們常常會遇到各種各樣的機器學習問題和知識點。為了幫助大家對這些知識點進行梳理和理解，以便能夠更好地應對機器學習筆試包括面試。紅色石頭準備在公眾號連載一些機器學習筆試題系列文章，希望能夠對大家有所幫助！

Q1. 在回歸模型中，下列哪一項在權衡欠擬合（under-fitting）和過擬合（over-fitting）中影響最大？

A. 多項式階數

B. 更新權重 w 時，使用的是矩陣求逆還是梯度下降

C. 使用常數項

答案：A

解析：選擇合適的多項式階數非常重要。如果階數過大，模型就會更加復雜，容易發(fā)生過擬合；如果階數較小，模型就會過于簡單，容易發(fā)生欠擬合。如果有對過擬合和欠擬合概念不清楚的，見下圖所示：

Q2. 假設你有以下數據：輸入和輸出都只有一個變量。使用線性回歸模型（y=wx+b）來擬合數據。那么使用留一法（Leave-One Out）交叉驗證得到的均方誤差是多少？

A. 10/27

B. 39/27

C. 49/27

D. 55/27

答案：C

解析：留一法，簡單來說就是假設有 N 個樣本，將每一個樣本作為測試樣本，其它 N-1 個樣本作為訓練樣本。這樣得到 N 個分類器，N 個測試結果。用這 N個結果的平均值來衡量模型的性能。

對于該題，我們先畫出 3 個樣本點的坐標：

使用兩個點進行線性擬合，分成三種情況，如下圖所示：

第一種情況下，回歸模型是 y = 2，誤差 E1 = 1。

第二種情況下，回歸模型是 y = -x + 4，誤差 E2 = 2。

第三種情況下，回歸模型是 y = -1/3x + 2,誤差 E3 = 2/3。

則總的均方誤差為：

Q3. 下列關于極大似然估計（Maximum Likelihood Estimate，MLE），說法正確的是（多選）？

A. MLE 可能并不存在

B. MLE 總是存在

C. 如果 MLE 存在，那么它的解可能不是唯一的

D. 如果 MLE 存在，那么它的解一定是唯一的

答案：AC

解析：如果極大似然函數 L(θ) 在極大值處不連續(xù)，一階導數不存在，則 MLE 不存在，如下圖所示：

另一種情況是 MLE 并不唯一，極大值對應兩個θ。如下圖所示：

Q4. 如果我們說“線性回歸”模型完美地擬合了訓練樣本（訓練樣本誤差為零），則下面哪個說法是正確的？

A. 測試樣本誤差始終為零

B. 測試樣本誤差不可能為零

C. 以上答案都不對

答案：C

解析：根據訓練樣本誤差為零，無法推斷測試樣本誤差是否為零。值得一提是，如果測試樣本樣本很大，則很可能發(fā)生過擬合，模型不具備很好的泛化能力！

Q5. 在一個線性回歸問題中，我們使用 R 平方（R-Squared）來判斷擬合度。此時，如果增加一個特征，模型不變，則下面說法正確的是？

A. 如果 R-Squared 增加，則這個特征有意義

B. 如果R-Squared 減小，則這個特征沒有意義

C. 僅看 R-Squared 單一變量，無法確定這個特征是否有意義。

D. 以上說法都不對

答案：C

解析：線性回歸問題中，R-Squared 是用來衡量回歸方程與真實樣本輸出之間的相似程度。其表達式如下所示：

上式中，分子部分表示真實值與預測值的平方差之和，類似于均方差 MSE；分母部分表示真實值與均值的平方差之和，類似于方差 Var。根據R-Squared 的取值，來判斷模型的好壞：如果結果是 0，說明模型擬合效果很差；如果結果是 1，說明模型無錯誤。一般來說，R-Squared 越大，表示模型擬合效果越好。R-Squared 反映的是大概有多準，因為，隨著樣本數量的增加，R-Square必然增加，無法真正定量說明準確程度，只能大概定量。

對于本題來說，單獨看R-Squared，并不能推斷出增加的特征是否有意義。通常來說，增加一個特征，R-Squared 可能變大也可能保持不變，兩者不一定呈正相關。

如果使用校正決定系數（Adjusted R-Square）：

其中，n 是樣本數量，p 是特征數量。Adjusted R-Square抵消樣本數量對 R-Square的影響，做到了真正的 0~1，越大越好。

Q6. 下列關于線性回歸分析中的殘差（Residuals）說法正確的是？

A. 殘差均值總是為零

B. 殘差均值總是小于零

C. 殘差均值總是大于零

D. 以上說法都不對

答案：A

解析：線性回歸分析中，目標是殘差最小化。殘差平方和是關于參數的函數，為了求殘差極小值，令殘差關于參數的偏導數為零，會得到殘差和為零，即殘差均值為零。

Q7. 下列關于異方差（Heteroskedasticity）說法正確的是？

A. 線性回歸具有不同的誤差項

B. 線性回歸具有相同的誤差項

C. 線性回歸誤差項為零

D. 以上說法都不對

答案：A

解析：異方差性是相對于同方差（Homoskedasticity）而言的。所謂同方差，是為了保證回歸參數估計量具有良好的統(tǒng)計性質，經典線性回歸模型的一個重要假定：總體回歸函數中的隨機誤差項滿足同方差性，即它們都有相同的方差。如果這一假定不滿足，即：隨機誤差項具有不同的方差，則稱線性回歸模型存在異方差性。

通常來說，奇異值的出現(xiàn)會導致異方差性增大。

Q8. 下列哪一項能反映出 X 和 Y 之間的強相關性？

A. 相關系數為 0.9

B. 對于無效假設 β=0 的 p 值為 0.0001

C. 對于無效假設β=0 的 t 值為 30

D. 以上說法都不對

答案：A

解析：相關系數的概念我們很熟悉，它反映了不同變量之間線性相關程度，一般用 r 表示。

其中，Cov(X,Y) 為 X 與 Y 的協(xié)方差，Var[X] 為 X 的方差，Var[Y] 為 Y 的方差。r 取值范圍在 [-1,1] 之間，r 越大表示相關程度越高。A 選項中，r=0.9 表示 X 和 Y 之間有較強的相關性。

而 p 和 t 的數值大小沒有統(tǒng)計意義，只是將其與某一個閾值進行比對,以得到二選一的結論。例如，有兩個假設：

無效假設（null?hypothesis）H0：兩參量間不存在“線性”相關。

備擇假設（alternative?hypothesis）H1：兩參量間存在“線性”相關。

如果閾值是 0.05，計算出的 p 值很小，比如為 0.001，則可以說“有非常顯著的證據拒絕 H0 假設,相信 H1 假設。即兩參量間存在“線性”相關。p 值只用于二值化判斷，因此不能說 p=0.06 一定比 p=0.07 更好。

Q9. 下列哪些假設是我們推導線性回歸參數時遵循的（多選）？

A. X 與 Y 有線性關系（多項式關系）

B. 模型誤差在統(tǒng)計學上是獨立的

C. 誤差一般服從 0 均值和固定標準差的正態(tài)分布

D. X 是非隨機且測量沒有誤差的

答案：ABCD

解析：在進行線性回歸推導和分析時，我們已經默認上述四個條件是成立的。

Q10. 為了觀察測試 Y 與 X 之間的線性關系，X 是連續(xù)變量，使用下列哪種圖形比較適合？

A. 散點圖

B. 柱形圖

C. 直方圖

D. 以上都不對

答案：A

解析：散點圖反映了兩個變量之間的相互關系，在測試 Y 與 X 之間的線性關系時，使用散點圖最為直觀。

Q11. 一般來說，下列哪種方法常用來預測連續(xù)獨立變量？

A. 線性回歸

B. 邏輯回顧

C. 線性回歸和邏輯回歸都行

D. 以上說法都不對

答案：A

解析：線性回歸一般用于實數預測，邏輯回歸一般用于分類問題。

Q12. 個人健康和年齡的相關系數是 -1.09。根據這個你可以告訴醫(yī)生哪個結論？

A. 年齡是健康程度很好的預測器

B. 年齡是健康程度很糟的預測器

C. 以上說法都不對

答案：C

解析：因為相關系數的范圍是 [-1,1] 之間，所以，-1.09 不可能存在。

Q13.下列哪一種偏移，是我們在最小二乘直線擬合的情況下使用的？圖中橫坐標是輸入 X，縱坐標是輸出 Y。

A. 垂直偏移（vertical offsets）

B. 垂向偏移（perpendicular offsets）

C. 兩種偏移都可以

D. 以上說法都不對

答案：A

解析：線性回歸模型計算損失函數，例如均方差損失函數時，使用的都是 vertical offsets。perpendicular offsets 一般用于主成分分析（PCA）中。

Q14. 假如我們利用 Y 是 X 的 3 階多項式產生一些數據（3 階多項式能很好地擬合數據）。那么，下列說法正確的是（多選）？

A. 簡單的線性回歸容易造成高偏差（bias）、低方差（variance）

B.簡單的線性回歸容易造成低偏差（bias）、高方差（variance）

C. 3 階多項式擬合會造成低偏差（bias）、高方差（variance）

D.3 階多項式擬合具備低偏差（bias）、低方差（variance）

答案：AD

解析：偏差和方差是兩個相對的概念，就像欠擬合和過擬合一樣。如果模型過于簡單，通常會造成欠擬合，伴隨著高偏差、低方差；如果模型過于復雜，通常會造成過擬合，伴隨著低偏差、高方差。

用一張圖來形象地表示偏差與方差的關系：

圖片來源：https://www.zhihu.com/question/27068705

偏差（bias）可以看成模型預測與真實樣本的差距，想要得到 low bias，就得復雜化模型，但是容易造成過擬合。方差（variance）可以看成模型在測試集上的表現(xiàn)，想要得到 low variance，就得簡化模型，但是容易造成欠擬合。實際應用中，偏差和方差是需要權衡的。若模型在訓練樣本和測試集上都表現(xiàn)的不錯，偏差和方差都會比較小，這也是模型比較理想的情況。

Q15. 假如你在訓練一個線性回歸模型，有下面兩句話：

1. 如果數據量較少，容易發(fā)生過擬合。

2. 如果假設空間較小，容易發(fā)生過擬合。

關于這兩句話，下列說法正確的是？

A. 1 和 2 都錯誤

B. 1 正確，2 錯誤

C. 1 錯誤，2 正確

D. 1 和 2 都正確

答案：B

解析：先來看第 1 句話，如果數據量較少，容易在假設空間找到一個模型對訓練樣本的擬合度很好，容易造成過擬合，該模型不具備良好的泛化能力。

再來看第 2 句話，如果假設空間較小，包含的可能的模型就比較少，也就不太可能找到一個模型能夠對樣本擬合得很好，容易造成高偏差、低方差，即欠擬合。

Q16. 假如我們使用 Lasso 回歸來擬合數據集，該數據集輸入特征有 100 個（X1，X2，...，X100）。現(xiàn)在，我們把其中一個特征值擴大 10 倍（例如是特征 X1），然后用相同的正則化參數對 Lasso 回歸進行修正。

那么，下列說法正確的是？

A. 特征 X1 很可能被排除在模型之外

B. 特征 X1 很可能還包含在模型之中

C. 無法確定特征 X1 是否被舍棄

D. 以上說法都不對

答案： B

解析：Lasso 回歸類似于線性回歸，只不過它在線性回歸的基礎上，增加了一個對所有參數的數值大小約束，如下所示：

其中，t 為正則化參數。Lasso 回歸其實就是在普通線性回歸的損失函數的基礎上增加了個 β 的約束。那么 β 的約束為什么要使用這種形式，而不使用β 的平方約束呢？原因就在于第一范數的約束下，一部分回歸系數剛好可以被約束為 0。這樣的話，就達到了特征選擇的效果。如下圖所示：

左邊是第二范式，右邊是第一范式。第一范數約束下，β 更有可能被約束成 0。這點非常類似于 L1 和 L2 正則化的區(qū)別，有興趣的請看我之前一篇文章：機器學習中 L1 和 L2 正則化的直觀解釋

因此，Lasso 回歸適用于樣本數量較少，特征維度較大的情形，便于從較多特征中進行特征選擇。例如 DNA 數據，特征維度很大，我們只希望通過 Lasso 回歸找出與某些疾病有關的 DNA 片段。

本題中，將特征 X1 數值擴大 10 倍，他對應的回歸系數將相應會減小，但不為 0，以此來保證仍然滿足β 的正則化約束。

Q17. 關于特征選擇，下列對 Ridge 回歸和 Lasso 回歸說法正確的是？

A. Ridge 回歸適用于特征選擇

B. Lasso 回歸適用于特征選擇

C. 兩個都適用于特征選擇

D. 以上說法都不對

答案：B

解析：上一題我們已經介紹過，Lasso 回歸會讓一部分回歸系數剛好可以被約束為 0，起到特征選擇的效果。

Ridge 回歸又稱嶺回歸，它是普通線性回歸加上 L2 正則項，用來防止訓練過程中出現(xiàn)的過擬合。L2 正則化效果類似上一題左圖，限定區(qū)域是圓，這樣，得到的回歸系數為 0 的概率很小，很大概率是非零的。因此，比較來說，Lasso 回歸更容易得到稀疏的回歸系數，有利于舍棄冗余或無用特征，適用于特征選擇。

Q18. 如果在線性回歸模型中增加一個特征變量，下列可能發(fā)生的是（多選）？

A.R-squared 增大，Adjust R-squared 增大

B.R-squared 增大，Adjust R-squared 減小

C.R-squared 減小，Adjust R-squared 減小

D.R-squared 減小，Adjust R-squared 增大

答案：AB

解析：線性回歸問題中，R-Squared 是用來衡量回歸方程與真實樣本輸出之間的相似程度。其表達式如下所示：

上式中，分子部分表示真實值與預測值的平方差之和，類似于均方差 MSE；分母部分表示真實值與均值的平方差之和，類似于方差 Var。一般來說，R-Squared 越大，表示模型擬合效果越好。R-Squared 反映的是大概有多準，因為，隨著樣本數量的增加，R-Squared 必然增加，無法真正定量說明準確程度，只能大概定量。

單獨看R-Squared，并不能推斷出增加的特征是否有意義。通常來說，增加一個特征特征，R-Squared 可能變大也可能保持不變，兩者不一定呈正相關。

如果使用校正決定系數（Adjusted R-Squared）：

其中，n 是樣本數量，p 是特征數量。Adjusted R-Squared抵消樣本數量對 R-Squared 的影響，做到了真正的 0~1，越大越好。

增加一個特征變量，如果這個特征有意義，Adjusted R-Square 就會增大，若這個特征是冗余特征，Adjusted R-Squared 就會減小。

Q19. 下面三張圖展示了對同一訓練樣本，使用不同的模型擬合的效果（藍色曲線）。那么，我們可以得出哪些結論（多選）？

A. 第 1 個模型的訓練誤差大于第 2 個、第 3 個模型

B. 最好的模型是第 3 個，因為它的訓練誤差最小

C. 第 2 個模型最為“健壯”，因為它對未知樣本的擬合效果最好

D. 第 3 個模型發(fā)生了過擬合

E. 所有模型的表現(xiàn)都一樣，因為我們并沒有看到測試數據

答案：ACD

解析：1、2、3 模型分別對應的多項式階數由小到大，即模型由簡單到復雜。模型越簡單，容易發(fā)生欠擬合；模型越復雜，容易發(fā)生過擬合。第 1 個模型過于簡單，出現(xiàn)欠擬合；第 3 個模型過于復雜，對訓練樣本擬合得很好，但在測試樣本上效果會很差，即過擬合；第 2 個模型最為“健壯”，在訓練樣本和測試樣本上擬合效果都不錯！

Q20. 下列哪些指標可以用來評估線性回歸模型（多選）？

A.R-Squared

B.Adjusted R-Squared

C. F Statistics

D.RMSE / MSE / MAE

答案：ABCD

解析：R-Squared 和Adjusted R-Squared 的概念，我們在 Q3 有過介紹，它們都可以用來評估線性回歸模型。F Statistics是指在零假設成立的情況下，符合F分布的統(tǒng)計量，多用于計量統(tǒng)計學中。

RMSE 指的是均方根誤差：

MSE 指的是均方誤差：

MAE 指的是評價絕對誤差：

以上指標都可以用來評估線性回歸模型。

Q21. 線性回歸中，我們可以使用正規(guī)方程（Normal Equation）來求解系數。下列關于正規(guī)方程說法正確的是？

A. 不需要選擇學習因子

B. 當特征數目很多的時候，運算速度會很慢

C. 不需要迭代訓練

答案：ABC

解析：求解線性回歸系數，我們一般最常用的方法是梯度下降，利用迭代優(yōu)化的方式。除此之外，還有一種方法是使用正規(guī)方程，原理是基于最小二乘法。下面對正規(guī)方程做簡要的推導。

已知線性回歸模型的損失函數 Ein 為：

對 Ein 計算導數，令 ?Ein=0：

然后就能計算出 W：

以上就是使用正規(guī)方程求解系數 W 的過程。可以看到，正規(guī)方程求解過程不需要學習因子，也沒有迭代訓練過程。當特征數目很多的時候，XTX 矩陣求逆會很慢，這時梯度下降算法更好一些。

如果 XTX 矩陣不可逆，是奇異矩陣怎么辦呢？其實，大部分的計算逆矩陣的軟件程序，都可以處理這個問題，也會計算出一個逆矩陣。所以，一般偽逆矩陣是可解的。

Q22. 如果 Y 是 X（X1，X2，...，Xn）的線性函數：Y =β0 +β1X1 +β2X2 + ··· +βnXn，則下列說法正確的是（多選）？

A. 如果變量 Xi 改變一個微小變量ΔXi，其它變量不變。那么 Y 會相應改變βiΔXi。

B.βi 是固定的，不管 Xi 如何變化

C. Xi 對 Y 的影響是相互獨立的，且 X 對 Y 的總的影響為各自分量 Xi 之和

答案：ABC

解析：這題非常簡單，Y 與 X（X1，X2，...，Xn）是線性關系，故能得出 ABC 結論。

Q23. 構建一個最簡單的線性回歸模型需要幾個系數（只有一個特征）？

A. 1 個

B. 2 個

C. 3 個

D. 4 個

答案：B

解析：最簡單的線性回歸模型，只有一個特征，即 Y = aX + b，包含 a 和 b 兩個系數。

Q24. 下面兩張圖展示了兩個擬合回歸線（A 和 B），原始數據是隨機產生的?，F(xiàn)在，我想要計算 A 和 B 各自的殘差之和。注意：兩種圖中的坐標尺度一樣。

關于 A 和 B 各自的殘差之和，下列說法正確的是？

A. A 比 B 高

B. A 比 B 小

C. A 與 B 相同

D. 以上說法都不對

答案：C

解析：A 和 B 中各自的殘差之和應該是相同的。線性回歸模型的損失函數為：

對損失函數求導，并令?J=0，即可得到 XW-Y=0，即殘差之和始終為零。

Q25. 如果兩個變量相關，那么它們一定是線性關系嗎？

A. 是

B. 不是

答案：B

解析：相關不一定是線性關系，也有可能是非線性相關。

Q26. 兩個變量相關，它們的相關系數 r 可能為 0。這句話是否正確？

A. 正確

B. 錯誤

答案：A

解析：一般來說，相關系數 r=0 是兩變量相互獨立的必要不充分條件。也就是說，如果兩個變量相互獨立，那么相關系數 r 一定為 0，如果相關系數 r=0，則不一定相互獨立。相關系數 r=0 只能說明兩個變量之間不存在線性關系，仍然可能存在非線性關系。

那么，若兩個變量相關，存在非線性關系，那么它們的相關系數 r 就為 0。

Q27. 加入使用邏輯回歸對樣本進行分類，得到訓練樣本的準確率和測試樣本的準確率?，F(xiàn)在，在數據中增加一個新的特征，其它特征保持不變。然后重新訓練測試。則下列說法正確的是？

A. 訓練樣本準確率一定會降低

B. 訓練樣本準確率一定增加或保持不變

C. 測試樣本準確率一定會降低

D. 測試樣本準確率一定增加或保持不變

答案：B

解析：在模型中增加更多特征一般會增加訓練樣本的準確率，減小 bias。但是測試樣本準確率不一定增加，除非增加的特征是有效特征。

這題對應的知識點也包括了增加模型復雜度，雖然會減小訓練樣本誤差，但是容易發(fā)生過擬合。

Q28. 下面這張圖是一個簡單的線性回歸模型,圖中標注了每個樣本點預測值與真實值的殘差。計算 SSE 為多少？

A. 3.02

B. 0.75

C. 1.01

D. 0.604

答案：A

解析：SSE 是平方誤差之和（Sum of Squared Error），SSE = (-0.2)^2 + (0.4)^2 + (-0.8)^2 + (1.3)^2 + (-0.7)^2 = 3.02

Q29. 假設變量 Var1 和 Var2 是正相關的，那么下面那張圖是正確的？圖中，橫坐標是 Var1，縱坐標是 Var2，且對 Var1 和 Var2 都做了標準化處理。

A. Plot 1

B. Plot 2

答案：B

解析：顯然，Plot 2 顯示出 Var2 與 Var1 是正相關的，例如 Var2 = Var1。Plot 1 顯示出 Var2 與 Var1 是負相關的，例如 Var2 = -Var1。

Q30. 假設一個公司的薪資水平中位數是 $35,000，排名第 25% 和 75% 的薪資分別是 $21,000 和 $ 53,000。如果某人的薪水是 $1，那么它可以被看成是異常值（Outlier）嗎？

A. 可以B. 不可以C. 需要更多的信息才能判斷D. 以上說法都不對

答案：C解析：異常值（Outlier）指樣本中的個別值，其數值明顯偏離它（或他們）所屬樣本的其余觀測值，也稱異常數據，離群值。目前人們對異常值的判別與剔除主要采用物理判別法和統(tǒng)計判別法兩種方法。所謂物理判別法就是根據人們對客觀事物已有的認識，判別由于外界干擾、人為誤差等原因造成實測數據值偏離正常結果，在實驗過程中隨時判斷，隨時剔除。統(tǒng)計判別法是給定一個置信概率，并確定一個置信限，凡超過此限的誤差，就認為它不屬于隨機誤差范圍，將其視為異常值剔除。當物理識別不易判斷時，一般采用統(tǒng)計識別法。該題中，所給的信息量過少，無法肯定一定是異常值。