機器學習模型存在嚴重缺陷？

多年來，許多人工智能發(fā)燒友和研究人員一直承諾，機器學習將改變現(xiàn)代醫(yī)學。已經(jīng)開發(fā)了成千上萬種算法來診斷癌癥，心臟病和精神病等疾病。現(xiàn)在，正在通過識別肺部CT掃描和X射線圖像中的模式來訓練算法來檢測COVID-19。

這些模型中的許多模型旨在預測哪些患者的結局最嚴重，哪些患者需要呼吸機。激動是顯而易見的。如果這些模型是準確的，它們可以為醫(yī)生提供測試和治療患者的巨大優(yōu)勢。

但是，使用AI輔助藥物治療真正的COVID-19患者的吸引力似乎還很遙遠。世界各地的一組統(tǒng)計學家都對絕大多數(shù)機器學習模型的質量以及如果醫(yī)院盡快采用它們可能造成的危害表示關注。

“ ［它］使我們很多人感到恐懼，因為我們知道可以使用模型來做出醫(yī)療決定，”荷蘭烏得勒支大學醫(yī)學中心的醫(yī)學統(tǒng)計學家Maarten van Smeden說?！叭绻Ｐ筒缓?，他們可能會使醫(yī)療決策更糟。因此它們實際上可以傷害患者?！?/p>

Van Smeden與一大批國際研究人員共同領導一個項目，以使用標準化標準評估COVID-19模型。該項目是BMJ的首次現(xiàn)場審查，這意味著他們的40名審查員（并且正在不斷增長）的團隊將在發(fā)布新模型時積極更新其審查。

到目前為止，他們對COVID-19機器學習模型的評論并不理想：他們嚴重缺乏數(shù)據(jù)，并且缺乏來自廣泛研究領域的必要專業(yè)知識。但是，新的COVID-19算法面臨的問題根本就不是新問題：醫(yī)學研究中的AI模型已經(jīng)存在嚴重缺陷，多年來，van Smeden等統(tǒng)計學家一直試圖發(fā)出警告以扭轉局勢。

折磨數(shù)據(jù)

在COVID-19大流行之前，范德比爾特大學的生物統(tǒng)計學家弗蘭克·哈雷爾（Frank Harrell）環(huán)游全國，與醫(yī)學研究人員就當前醫(yī)學AI模型的廣泛問題進行了討論。他經(jīng)常借用著名經(jīng)濟學家的話來描述這個問題：醫(yī)學研究人員正在使用機器學習來“折磨他們的數(shù)據(jù)，直到吐出口供為止”。

這些數(shù)字證明了Harrell的主張，這表明絕大多數(shù)醫(yī)學算法幾乎不符合基本質量標準。2019年10月，由英國伯明翰大學的劉曉軒和Alastair Denniston領導的一組研究人員發(fā)表了第一個系統(tǒng)綜述，旨在回答這一時髦卻難以捉摸的問題：機器在診斷患者方面是否能比患者更好甚至更好？人類醫(yī)生？他們得出的結論是，從醫(yī)學成像檢測疾病時，大多數(shù)機器學習算法都可以與人類醫(yī)生媲美。然而，還有另一個更健壯和令人震驚的發(fā)現(xiàn)-自2012年以來，在發(fā)表的關于疾病檢測算法的總共20，530項研究中，只有不到1%的方法學嚴謹性足以納入其分析。