隨著 AI 技術(shù)的普及,人工智能與醫(yī)療場(chǎng)景的結(jié)合擁有更多值得期待的可能性。然而,有研究人員發(fā)現(xiàn),人工智能在醫(yī)療領(lǐng)域的應(yīng)用缺陷同樣明顯,與人類一樣,人工智能也會(huì)為達(dá)到某種目標(biāo)選擇走 “捷徑”,甚至在具體應(yīng)用場(chǎng)景中會(huì)出現(xiàn) “誤判”。
5 月 31 日,《自然機(jī)器智能》(Nature Machine Intelligence)上發(fā)表了題為《放射 COVID-19 檢測(cè)的 AI 選擇信號(hào)的快捷方式》(Fitting elephants in modern machine learning by statistically consistent interpolation)的論文,華盛頓大學(xué)研究人員對(duì)胸部放射圖中準(zhǔn)確檢測(cè) COVID-19 的人工智能系統(tǒng)穩(wěn)定性提出了質(zhì)疑,他們證明 COVID-19 的人工智能系統(tǒng)并不依賴于醫(yī)學(xué)病理學(xué),而是混淆因素,這會(huì)導(dǎo)致一種測(cè)試表象與實(shí)際不符結(jié)果。
例如,COVID-19 的人工智能系統(tǒng)在新醫(yī)院里測(cè)試的失敗。該團(tuán)隊(duì)發(fā)現(xiàn),人工智能模型無法真正反映 COVID-19 存在的基礎(chǔ)病理學(xué),而是利用 COVID-19 的存在或缺失與反映圖捷徑之間的虛假關(guān)聯(lián)。
華盛頓大學(xué)研究員的實(shí)驗(yàn)聚焦在 “最壞情況混淆” 的研究,他們構(gòu)建了兩個(gè)不同的數(shù)據(jù)集,一個(gè)用來復(fù)制歷史研究數(shù)據(jù),另一個(gè)用于新醫(yī)院的外部驗(yàn)證。該模型最重要的一點(diǎn)在于,能夠區(qū)分 COVID-19 陽性和 COVID-19 陰性病例的關(guān)鍵數(shù)據(jù)。研究人員構(gòu)建的人工智能模型在三個(gè)方向提出了自己的看法。
第一,可解釋的 AI 識(shí)別虛假混淆者。這個(gè)研究結(jié)果對(duì)傳統(tǒng)觀點(diǎn)是顛覆性的,當(dāng)數(shù)據(jù)集來源于陽性和陰性 COVID-19 病例相似病理時(shí),他們認(rèn)為混淆不會(huì)造成什么問題,高性能醫(yī)療 AI 系統(tǒng)在實(shí)際檢測(cè)過程中具有一定的選擇性,大概率會(huì)選擇不受歡迎的捷徑而非所需信號(hào)。
可解釋的 AI 可視化圖像因素對(duì)于深神經(jīng)網(wǎng)絡(luò)來說尤為重要,這些神經(jīng)網(wǎng)絡(luò)經(jīng)過培訓(xùn)和學(xué)習(xí)之后,能夠檢測(cè)放射圖中的 COVID-19。
第二,可解釋的醫(yī)學(xué)領(lǐng)域人工智能技術(shù)缺乏透明度。人工智能的應(yīng)用離不開大量的數(shù)據(jù)支撐,技術(shù)層面通常依據(jù)數(shù)據(jù)集給出幾個(gè)方向的預(yù)測(cè),遺憾的是我們無法知道構(gòu)建的模型如何給出定性的結(jié)果。例如,一個(gè)使用捷徑的系統(tǒng),可以根據(jù)人們年齡的大小推斷患某種疾病可能發(fā)生的概率,這種推斷的邏輯基于歷史數(shù)據(jù)或以往病例的頻率做出判斷,這種推斷本身并沒有錯(cuò),但這種關(guān)聯(lián)是非透明的,缺乏透明度的關(guān)聯(lián)有時(shí)會(huì)造成病理誤判。
人工智能系統(tǒng)在數(shù)據(jù)識(shí)別方面還具有明顯優(yōu)勢(shì),而它的缺陷是不能學(xué)習(xí)疾病病理。COVID-19 的結(jié)果與數(shù)據(jù)源存在較好關(guān)聯(lián)的情況下,人工智能技術(shù)幾乎起不到作用。
第三,捷徑對(duì)泛化有可變影響。值得關(guān)注的是,某些快捷會(huì)損害通用性能,當(dāng)人工智能模型在一組數(shù)據(jù)集上測(cè)試時(shí),可以保持較高的性能。如果在第二組數(shù)據(jù)集上測(cè)試,測(cè)試的準(zhǔn)確性就會(huì)降低 50%,研究人員把這種現(xiàn)象稱為 “泛化差距”。
雖然快捷方式學(xué)習(xí)能夠很好地解釋較大的泛化差距,研究人員認(rèn)為這種方式依然不可取,根本原因是沒有辦推廣到其他設(shè)置,在臨床方面的應(yīng)用效果也欠佳。
研究人員還研究了哪些快捷鍵可能導(dǎo)致推廣不良,為此,他們還分析了臨床元數(shù)據(jù)和每個(gè)存儲(chǔ)庫的平均圖像。在沒有統(tǒng)一標(biāo)準(zhǔn)的快捷方式中,圖像文本標(biāo)記對(duì)于預(yù)測(cè) COVID-19 很重要。在概括的快捷鍵中,患者性別可能是好概括的因素,因?yàn)樵趦蓚€(gè)數(shù)據(jù)集中患有 COVID-19 陽性結(jié)果中,男性比例相對(duì)較高。研究人員推斷,只有少數(shù)模型能監(jiān)測(cè)真正的 COVID-19 病理學(xué)。
理論上來說,緩解快捷方式學(xué)習(xí)的解決方案是,刪除模型用作快捷鍵的圖像因素。事實(shí)上,在實(shí)踐的過程中,很難去除所有圖像因素。研究人員試圖找到一個(gè)更加可靠的解決方案,來消除圖像因素,讓快捷鍵方式學(xué)習(xí)簡單地收集數(shù)據(jù)減小混淆。經(jīng)過大量的實(shí)驗(yàn),研究人員希望精細(xì)化收集數(shù)據(jù),盡量抑制捷徑學(xué)習(xí)的潛力,出于嚴(yán)謹(jǐn)考慮該研究團(tuán)隊(duì)稱,改進(jìn)的數(shù)據(jù)收集只能部分解決問題。
人工智能模型在應(yīng)用方面并不具有落地性,盡管研究人員在該論文中提出諸多令人興奮的觀點(diǎn)。有相關(guān)數(shù)據(jù)表明,相當(dāng)數(shù)量的醫(yī)院采購了一種有缺陷的模型 —covid - net,醫(yī)院采購之后究竟用于臨床還是僅用于研究,真實(shí)的使用意圖尚不明確。
值得注意的是,有的醫(yī)院不愿意為此擔(dān)責(zé)任,醫(yī)療保健使用者傾向用聚合酶鏈反應(yīng) (PCR) 來診斷 COVID-19,他們不會(huì)依賴一個(gè)相對(duì)未經(jīng)測(cè)試的胸片檢測(cè)。
盡管如此,該團(tuán)隊(duì)仍然對(duì)人工智能在臨床醫(yī)學(xué)的可行性持積極態(tài)度,如果有辦法獲取更多的樣本,能夠更加高效地審計(jì)這些系統(tǒng),那么將幫助研究人員避免他們?cè)?COVID-19 模型中發(fā)現(xiàn)的一些缺陷。他們相信,隨著科技的不斷進(jìn)步,有好的辦法可以防止人工智能系統(tǒng)學(xué)習(xí) “捷徑”。
可解釋的人工智將安全有效地用于醫(yī)療決策,成為解決患者病理的有效工具。人工智能在某些病理方面能夠提供更加精準(zhǔn)的診斷,將會(huì)推動(dòng)未來醫(yī)療行業(yè)的變革。
原文標(biāo)題:AI 技術(shù)無法真正反映 COVID-19 存在的基礎(chǔ)病理學(xué),臨床應(yīng)用層仍面臨諸多挑戰(zhàn)
文章出處:【微信公眾號(hào):DeepTech深科技】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
責(zé)任編輯:haq
-
AI
+關(guān)注
關(guān)注
87文章
28876瀏覽量
266219 -
人工智能
+關(guān)注
關(guān)注
1787文章
46061瀏覽量
234988
原文標(biāo)題:AI 技術(shù)無法真正反映 COVID-19 存在的基礎(chǔ)病理學(xué),臨床應(yīng)用層仍面臨諸多挑戰(zhàn)
文章出處:【微信號(hào):deeptechchina,微信公眾號(hào):deeptechchina】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論