DNN與邏輯回歸效果一樣？

谷歌用深度學(xué)習(xí)分析電子病例的重磅論文給出了一個(gè)意外的實(shí)驗(yàn)結(jié)果，DNN與邏輯回歸效果一樣，引發(fā)了熱烈討論。不僅如此，最近Twitter討論最多的論文，是UC戴維斯和斯坦福的一項(xiàng)合作研究，作者發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)本質(zhì)上就是多項(xiàng)式回歸。下次遇到機(jī)器學(xué)習(xí)問題，你或許該想想，是不是真的有必要用深度學(xué)習(xí)。

近來，谷歌一篇關(guān)于使用深度學(xué)習(xí)進(jìn)行電子病例分析的論文，再次引發(fā)熱議。

起因是以色列理工學(xué)院工業(yè)工程與管理學(xué)院的助理教授 Uri Shalit 在 Twitter 上發(fā)文，指出這篇論文的補(bǔ)充材料里，有一處結(jié)果非常值得注意：標(biāo)準(zhǔn)化邏輯回歸實(shí)質(zhì)上與深度神經(jīng)網(wǎng)絡(luò)一樣好。

Uri Shalit 的研究方向是將機(jī)器學(xué)習(xí)應(yīng)用于醫(yī)療領(lǐng)域，尤其是在向醫(yī)生提供基于大型健康數(shù)據(jù)的決策支持工具方面。其次，他也研究機(jī)器學(xué)習(xí)和因果推斷的交集，重點(diǎn)是使用深度學(xué)習(xí)方法進(jìn)行因果推斷。在加入以色列理工學(xué)院以前，他先后在 David Sontag 教授在紐約大學(xué)和在 MIT 的臨床機(jī)器學(xué)習(xí)實(shí)驗(yàn)室當(dāng)博士后。 Uri Shalit 說的補(bǔ)充材料中的結(jié)果是指這個(gè)：

其中，基線 aEWS（augmented Early Warning Score）是一個(gè)有 28 個(gè)因子的邏輯回歸模型，在論文作者對預(yù)測患者死亡率的傳統(tǒng)方法 EWS 進(jìn)行的擴(kuò)展。而 Full feature simple baseline 則是 Uri Shalit 說的標(biāo)準(zhǔn)化邏輯回歸。

注意到基線模型（紅框標(biāo)識）和深度模型在 AUCs 置信區(qū)間的重疊了嗎？

Uri Shalit 表示，他由此得出的結(jié)論是，在電子病例分析這類任務(wù)中，應(yīng)該選擇使用邏輯回歸，而不是深度學(xué)習(xí)，因?yàn)榍罢吒雍唵?，更具可解釋性，這些優(yōu)點(diǎn)要遠(yuǎn)遠(yuǎn)勝過深度學(xué)習(xí)帶來的微小的精度提升。

或者，Uri Shalit 補(bǔ)充說，這表明我們目前還沒有找到正確的深度學(xué)習(xí)結(jié)構(gòu)，能實(shí)現(xiàn)在圖像、文本和語音建模領(lǐng)域中那樣的性能提升。

谷歌首篇深度學(xué)習(xí)電子病歷分析論文，Jeff Dean等大?？付χ鳎Y(jié)果出人意料

谷歌的這篇論文“Scalable and Accurate Deep Learning for Electronic Health Records”，發(fā)表在自然出版集團(tuán)（NPG）旗下開放獲取期刊 npJ Digital Medicine 上，由 Jeff Dean 率隊(duì)，聯(lián)合 UCSF、斯坦福、芝加哥大學(xué)眾多大牛，與全球頂級醫(yī)學(xué)院聯(lián)合完成，從題目到作者都吊足了大家的胃口。

實(shí)際上，早在今年初，新智元就介紹過這篇論文，當(dāng)時(shí)它還只是掛在 arXiv 上，康奈爾大學(xué)威爾醫(yī)學(xué)院助理教授王飛對當(dāng)時(shí)的 arXiv 版本進(jìn)行了解讀。

這項(xiàng)工作是在 UCSF 和 UChicago 這兩大醫(yī)院系統(tǒng)的電子病歷數(shù)據(jù)上，用深度學(xué)習(xí)模型預(yù)測四件事：1）住院期間的死亡風(fēng)險(xiǎn)；2）規(guī)劃之外的再住院風(fēng)險(xiǎn)；3）長時(shí)間的住院天數(shù)；4）出院的疾病診斷。

文章仔細(xì)介紹了實(shí)驗(yàn)信息，例如如何構(gòu)建病人隊(duì)列、特征如何變換、算法如何評價(jià)等等。對于每一個(gè)預(yù)測任務(wù)，作者也都選取了臨床上常用的算法作為基線來進(jìn)行比較，例如評價(jià)死亡風(fēng)險(xiǎn)的 EWS 分?jǐn)?shù)，以及評價(jià)再住院風(fēng)險(xiǎn)的 HOSPITAL 分?jǐn)?shù)，并對這些模型做了微小的改進(jìn)。最終結(jié)果，作者提出的深度學(xué)習(xí)模型在各項(xiàng)任務(wù)中都顯著優(yōu)于傳統(tǒng)模型（AUC 普遍提高 0.1 左右）。

論文插圖：使用深度學(xué)習(xí)預(yù)測病人住院期間死亡風(fēng)險(xiǎn)，深度學(xué)習(xí)（實(shí)線）在前后24小時(shí)時(shí)間范圍內(nèi)，都比基線水平（虛線）準(zhǔn)確率更高。

如果說這次在同行評議期刊發(fā)表出的論文與之前的 arXiv 版本有什么不同，最大的就是給出了 15 頁的補(bǔ)充資料，展示了深度學(xué)習(xí)方法與各種基線的具體數(shù)值。

谷歌這篇論文的初衷，是強(qiáng)調(diào)直接從 FHIR 數(shù)據(jù)中進(jìn)行機(jī)器學(xué)習(xí)（“我們提出了一種對病人整個(gè)基于 FHIR 格式的原始 EHR 的表示”）。正如論文中所寫的那樣，其方法的原創(chuàng)性并不僅僅在于對模型性能的提升，而是“這種預(yù)測性能是在沒有對專家認(rèn)為重要的那些變量進(jìn)行手動(dòng)選擇的情況下實(shí)現(xiàn)的……模型訪問每位患者數(shù)以萬計(jì)的預(yù)測因子，并從中確定哪些數(shù)據(jù)對于進(jìn)行特定的預(yù)測非常重要”。

但是，從論文的一些表述，尤其是標(biāo)題中，難免有宣傳深度學(xué)習(xí)的嫌疑，也是這次爭議重點(diǎn)所在。

UC戴維斯和斯坦福新研究，首次證明神經(jīng)網(wǎng)絡(luò) = 多項(xiàng)式回歸

現(xiàn)如今，深度神經(jīng)網(wǎng)絡(luò)已經(jīng)成了很多分析師進(jìn)行預(yù)測分析的首選。而在大眾媒體里，“深度學(xué)習(xí)”也幾乎可以算得上“人工智能”的同義詞。

深度學(xué)習(xí)的熱潮或許仍在持續(xù)，但很明顯，越來越多的人開始冷靜下來思考并且質(zhì)疑。

在一篇最新公布的文章里，加州大學(xué)戴維斯分校和斯坦福的研究人員便指出，神經(jīng)網(wǎng)絡(luò)本質(zhì)上是多項(xiàng)式回歸模型。他們的文章取了一個(gè)謹(jǐn)慎的標(biāo)題《多項(xiàng)式回歸作為神經(jīng)網(wǎng)絡(luò)的代替方法》（Polynomial Regression As an Alternative to Neural Nets），對神經(jīng)網(wǎng)絡(luò)的眾多性質(zhì)進(jìn)行了討論。

作者在論文中列出了他們這項(xiàng)工作的主要貢獻(xiàn)，包括：

NNAEPR 原理：證明了任何擬合的神經(jīng)網(wǎng)絡(luò)（NN）與擬合的普通參數(shù)多項(xiàng)式回歸（PR）模型之間存在粗略的對應(yīng)關(guān)系；NN 就是 PR 的一種形式。他們把這種松散的對應(yīng)關(guān)系稱為 NNAEPR——神經(jīng)網(wǎng)絡(luò)本質(zhì)上是多項(xiàng)式模型（Neural Nets Are Essentially Polynomial Models）。

NN 具有多重共線性：用對 PR 的理解去理解 NN，從而對 NN 的一般特性提供了新的見解，還預(yù)測并且確認(rèn)了神經(jīng)網(wǎng)絡(luò)具有多重共線性（multicollinearity），這是以前未曾在文獻(xiàn)中報(bào)道過的。

很多時(shí)候 PR 都優(yōu)于 NN：根據(jù) NNAEPR 原理，許多應(yīng)用都可以先簡單地?cái)M合多項(xiàng)式模型，繞過 NN，這樣就能避免選擇調(diào)整參數(shù)、非收斂等問題。作者還在不同數(shù)據(jù)集上做了實(shí)驗(yàn)，發(fā)現(xiàn)在所有情況下，PR 的結(jié)果都至少跟 NN 一樣好，在一些情況下，甚至還超越了 NN。

NNAEPR 原理——神經(jīng)網(wǎng)絡(luò)本質(zhì)上是多項(xiàng)式回歸

其中，作者重點(diǎn)論證了他們的 NNAEPR 原理。此前已經(jīng)有很多工作從理論和實(shí)踐角度探討了神經(jīng)網(wǎng)絡(luò)和多項(xiàng)式回歸的共性。但是，UC戴維斯和斯坦福的這幾名研究人員表示，他們的這項(xiàng)工作是首次證明了 NN 就是 PR 模型，他們從激活函數(shù)切入：

根據(jù)通用逼近定理，NN 可以無限逼近回歸函數(shù) r (t)，

假設(shè) p = 2，用 u 和 v 來表示特征，第一層隱藏層的輸入，包括“1”的節(jié)點(diǎn)，將是

設(shè)激活函數(shù)為，那么第一層的輸出將是 u 和 v 的二次函數(shù)。類似地，第二層將產(chǎn)生四次多項(xiàng)式，依此類推，可以生成在回歸函數(shù)空間中密集的多項(xiàng)式。

而對于更加實(shí)際的激活函數(shù)，其本身就常常被多項(xiàng)式逼近。因此，也適用于上述規(guī)則。

換句話說，NN 可以被松散地視為多項(xiàng)式回歸的一種。

實(shí)驗(yàn)結(jié)果：多項(xiàng)式回歸在很多時(shí)候都優(yōu)于神經(jīng)網(wǎng)絡(luò)

作者進(jìn)行了很多實(shí)驗(yàn)來比較 PR 與 NN 的性能。在下面的各種結(jié)果中，PR 表示多項(xiàng)式回歸，PCA 表示在生成多項(xiàng)式之前用 90％總方差主成分分析降維。KF 表示通過 Keras API 的神經(jīng)網(wǎng)絡(luò)，默認(rèn)配置是兩層，一層 256 個(gè)單元，一層 128 個(gè)單元（寫作 “256，128”），dropout 比例是 0.4。DN 表示通過 R 語言包 deepnet 的神經(jīng)網(wǎng)絡(luò)。DN 會(huì)比 KF 快很多，因此在大一些的問題里會(huì)用 DN，但兩者性能還是相似的。

硅谷程序員收入預(yù)測的結(jié)果

預(yù)測歌曲出版時(shí)間的結(jié)果

UCI 數(shù)據(jù)集字母預(yù)測的結(jié)果

Kaggle 數(shù)據(jù)集出租車旅途時(shí)長預(yù)測結(jié)果

哈佛/MIT MOOC獲得證書預(yù)測結(jié)果

NCI 基因數(shù)據(jù)癌癥預(yù)測結(jié)果

男女運(yùn)動(dòng)數(shù)據(jù)預(yù)測 Crossfit Open 排名

Crossfit Open 排名，數(shù)據(jù)集大小與預(yù)測精度的比較

總之，一系列實(shí)驗(yàn)結(jié)果表明，PR 至少不會(huì)比 NN 差，有些時(shí)候還超過了 NN。在實(shí)踐中，許多分析師只是一開始就去擬合過大的模型，比如使用很多層，每層有數(shù)百個(gè)神經(jīng)元。他們發(fā)現(xiàn)，使用 PR，很少需要超越 2 級，NNAEPR 原理表示，只用一層或者兩層就夠了，每一層有少量的神經(jīng)元。

同時(shí)，作者也開始懷疑，擬合大的 NN 模型通常導(dǎo)致大多數(shù)的權(quán)重為0，或接近于0。他們已經(jīng)開始調(diào)查這一點(diǎn)，初步結(jié)果與 NNAEPR 原理相結(jié)合表明，在 NN 初始化中 configur 大型網(wǎng)絡(luò)可能是個(gè)糟糕的策略。

最后，他們開源了一個(gè) R 語言的軟件包 polyreg（Python 的正在制作中），里面有很大源代碼可以實(shí)現(xiàn)很多功能。