深度卷積神經(jīng)網(wǎng)絡(luò)(CNNs)已在實踐中被證明是一種可以輔助生物醫(yī)學圖像診斷的技術(shù),并已廣泛運用于肺結(jié)節(jié)、眼底等放射影像識別。近日,病理領(lǐng)域的AI研究也有了新的進展。
2019年5月,將門投資企業(yè)——迪英加科技CEO楊林帶領(lǐng)團隊發(fā)表的論文《Pathologist-level Interpretable Whole-slide Cancer Diagnosis with Deep Learning》被《Nature Machine Intelligence》收錄,該論文提出了一項用于AI病理診斷解釋的方案。
在文章所描述的實驗之中,研究人員運用AI技術(shù)對病理切片進行分析處理,并同時給出AI分析的依據(jù)。這是全球首篇發(fā)表在自然子刊上的關(guān)于討論病理圖像分析中的人工智能可解釋性問題的專著。
通過實驗所設(shè)計的方法,人工智能開始“理解”醫(yī)生的邏輯,并嘗試模仿人類醫(yī)生,給出診斷依據(jù)。對此,動脈網(wǎng)采訪了論文通訊作者楊林教授,并結(jié)合論文內(nèi)容,嘗試梳理出論文的邏輯及背后的深刻價值。
病理痛局推動科研發(fā)展
病理科被“現(xiàn)代醫(yī)學之父”威廉·奧斯勒稱為“醫(yī)學之本”,而病理醫(yī)生被認為是醫(yī)生的醫(yī)生。病理科的含金量自然不言而喻,其診斷的準確與否直接影響患者的健康和命運。
然而,據(jù)國家衛(wèi)生和計劃生育委員會2015年數(shù)據(jù)顯示,全國僅有9841名有資質(zhì)的病理醫(yī)生。這個數(shù)字與我國人口總量之比約為1:140000,與注冊醫(yī)師之比約為1:250。簡單的說:每個病理醫(yī)生都承擔了5-10倍的常規(guī)工作量,許多病理醫(yī)生都在超負荷地進行日趨復(fù)雜的高強度工作,誤診、漏診時有發(fā)生。
制約病理醫(yī)生資源發(fā)展的因素不僅僅是龐大的工作量、工作環(huán)境差、收入待遇低、培養(yǎng)周期長等因素嚴重影響了病理教學師資。病理醫(yī)師新生力量呈現(xiàn)“斷崖式”短缺。
AI技術(shù)的出現(xiàn)或許可以解決這個問題。有深度學習支撐的人工智能能夠以迅速、標準化的方式處理醫(yī)學影像,對可疑影像進行勾畫、渲染,并以結(jié)構(gòu)化的語言提出建議。
這些工作精力消耗大,重復(fù)性高,而AI不受制于工作性質(zhì)。實踐證明,在AI的幫助下,病理醫(yī)生不僅可以提高診斷效率、減輕工作量;還能提高工作強度,改善病理醫(yī)生工作環(huán)境,最終降低誤診、漏診率。
痛點確乎推進了科學研究的發(fā)展,但在AI輔助診斷被真正施于應(yīng)用時,種種問題隨之而來。
質(zhì)疑之聲中最為清晰而難以回答的便是以下兩個問題:AI是如何完成判讀?它對于切片的分析是否有依據(jù)?事實也是如此,如果這個問題得不到解決,病理醫(yī)生與CFDA監(jiān)管部門難以認可AI的判讀結(jié)果——概率云并非一個合理的依據(jù)。鑒于此,楊林團隊開始了本次研究,用以解決AI病理診斷的可行性與可解釋性。
實驗條件下,AI可大幅度提升CAD準確率
為了探尋AI輔助診斷過程中的可解釋性問題,研究團隊以膀胱癌患者的病理切片為研究對象,在保證AI分析切片準確率的同時,通過構(gòu)建全新網(wǎng)絡(luò)架構(gòu),達到令該系統(tǒng)能針對診斷區(qū)域自動輸出文字的效果,而這些文字可表明系統(tǒng)的診斷依據(jù)。
對此,研究團隊設(shè)計了一個包含掃描器網(wǎng)絡(luò)(s-net),診斷器網(wǎng)絡(luò)(d-net)和聚合器網(wǎng)絡(luò)(a-net)三個模塊的神經(jīng)網(wǎng)絡(luò)系統(tǒng)。這三個模塊分別在系統(tǒng)之中起到分析圖像、文字表達、信息整合輸出的作用,共同發(fā)揮了腫瘤檢測與細胞表征提取的作用。
掃描器網(wǎng)絡(luò)(s-net)的核心是多模態(tài)CNN,這是一種特殊的深層的神經(jīng)網(wǎng)絡(luò)模型,它的特殊性體現(xiàn)在兩個方面,一方面它的神經(jīng)元的連接是非全連接的,另一方面同一層中某些神經(jīng)元之間的連接的權(quán)重是共享的。它的非全連接和權(quán)值共享的網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò),降低了網(wǎng)絡(luò)模型的復(fù)雜度,減少了權(quán)值的數(shù)量。
診斷器網(wǎng)絡(luò)(d-net)作用于每個勾畫ROI(感興趣區(qū)域,regionofinterest,AI框選出的需要關(guān)注的區(qū)域),分析病理特征并顯示特征感知網(wǎng)絡(luò),以嘗試解釋每個ROI的勾畫原理,以及解釋診斷器網(wǎng)絡(luò)在描述觀察時所看到的內(nèi)容,最終將分析流程及結(jié)果轉(zhuǎn)化為文字。
簡而言之,d-net的作用就是生成解釋性的內(nèi)容,告訴人類AI為什么框選出這些ROI,以及AI對單個ROI如何做的判斷。
聚合器網(wǎng)絡(luò)(a-net)則將掃描器網(wǎng)絡(luò)與診斷器網(wǎng)絡(luò)生成的信息進行集合處理,集成所有特征,并生成與影像相匹配的診斷結(jié)果。
通過逐塊掃描病理圖片,三個模塊從圖片像素中提取與數(shù)據(jù)庫對應(yīng)的有效像素并進行識別,最后轉(zhuǎn)化為可處理文本數(shù)據(jù),再使系統(tǒng)建立起文本與圖像之間的直接聯(lián)系。
診斷器網(wǎng)絡(luò)在數(shù)據(jù)格式轉(zhuǎn)化的同時,系統(tǒng)將運用NLP生成包含診斷組織細胞和細胞核特征的語言描述,匹配病理學家的操作方式,其生成的表述結(jié)構(gòu)符合臨床病理學報告標準。因此,這種方式可視為對人工智能診斷過程的解釋。
病理學家在實驗之中起到了重要的作用。當病理學家對病理切片進行處理時,系統(tǒng)將捕獲病理學家的操作過程,如點擊圖像的位置,并將操作、醫(yī)學語言與系統(tǒng)語言相結(jié)合,這構(gòu)成了系統(tǒng)的運行和分析的邏輯的基礎(chǔ)。
最終,系統(tǒng)能夠通過其文本和視覺輸出明確地解釋其分析過程,并向病理學家提供直接證據(jù)(即第二意見)以供審查和目視檢查,從而幫助降低病理學家臨床決策中的主觀性差異。
本次實驗用了怎樣的樣本?
本次實驗總計采用了近千名膀胱癌患者的尿路上皮癌切片數(shù)據(jù),整個數(shù)據(jù)集分為620個用于訓練的病理切片,193個用于驗證的病理切片和100個用于測試的病理片。
從形態(tài)上看,該數(shù)據(jù)集包括102例非侵入性低級別乳頭狀尿路上皮癌以及811例非侵入性或侵入性高級別乳頭狀尿路上皮癌。這些數(shù)據(jù)經(jīng)過了多位病理學家的嚴格診斷,且去除了低質(zhì)量的切片。
為了評估神經(jīng)網(wǎng)絡(luò)系統(tǒng)的效果,21名泌尿生殖病理學家參與了數(shù)據(jù)注釋和診斷性能評估。經(jīng)過大約近兩年的努力,病理學家使用研究人員開發(fā)的基于Web的注釋程序?qū)?shù)據(jù)進行了集體清理和手動注釋。
通過將該系統(tǒng)的測試結(jié)果與病理學家的常規(guī)檢查進行了比較,結(jié)果顯示,該系統(tǒng)實現(xiàn)了97%的曲線下面積(AUC)評分,其表現(xiàn)優(yōu)于大多數(shù)進行比較的病理學家。
此外,當使用混淆矩陣進行比較(圖e,f)時,結(jié)果顯示系統(tǒng)的平均準確度為94.6%,而病理學家的平均準確度為84.3%。
實際上,統(tǒng)計結(jié)果還表明,病理醫(yī)生對于部分類型的前列腺癌的診斷一致率不足50%。因此僅從數(shù)據(jù)上看的話,此次論文中所提出的AI系統(tǒng),在準確率和一致性上都有較好的表現(xiàn)。
AI可解釋性的研究
正如前文所示,該系統(tǒng)通過掃描器網(wǎng)絡(luò)、診斷器網(wǎng)絡(luò)、聚合器網(wǎng)絡(luò),對AI輔助診斷的可解釋性進行了探索,最終會產(chǎn)生說明文字同ROI同步輸出。
可解釋性圖示
如上圖,a、b顯示的為全片腫瘤檢測結(jié)果,c、d、e則為生成的“特征感知注意圖”,對診斷細節(jié)進行描述。我們可以看到,針對每一張切片,系統(tǒng)在判讀后,除了常規(guī)地將ROI區(qū)域框選出來,還針對不同區(qū)域生成了解釋性文字。
其中,不同特征的文字被使用不同顏色加以區(qū)分,而該描述所對應(yīng)的ROI,都被加以相同顏色的框表示,便于病理醫(yī)生查看時一一對應(yīng)。
該系統(tǒng)描述了觀察到的一定數(shù)量的細胞特征以及特征感知注意圖,注意圖對網(wǎng)絡(luò)觀察到的視覺信息的類型給出了強有力的解釋(圖c-e)。實際上,注意圖包含了框選區(qū)域中每一個像素的權(quán)重,用以確定不同像素對于給定的特征觀察的重要程度,但輸出的內(nèi)容卻并不是令人費解的數(shù)值,而是類似于病理醫(yī)生的判讀依據(jù)。
這樣專業(yè)化的文字表述加強了AI分析病理切片的可信度,當人類醫(yī)生與機器診斷結(jié)果不符時,醫(yī)生們也能夠更容易地對比自己與機器的診斷意見到底在何處有所區(qū)別,了解產(chǎn)生區(qū)別的原因,在很大程度上能夠提高診斷準確度。
系統(tǒng)網(wǎng)絡(luò)組件的評估
在算法結(jié)構(gòu)方面,算法的各部分性能在完成后均被予以驗證。
首先,研究人員評估腫瘤和非腫瘤圖像的s-net的腫瘤檢測召回率(非腫瘤圖像表示內(nèi)部沒有突出腫瘤的裁剪的滑動組織區(qū)域)。s-net達到94%的高真陽性(檢測到的腫瘤像素數(shù)/總注釋腫瘤像素)并同時維持95.3%的陰性召回率。
其次,研究人員使用了兩個評估指標驗證了生成的診斷描述的質(zhì)量:雙語評估Understudy(BLEU)和基于共識的圖像描述評估(CIDEr)。而這些驗證結(jié)果顯示,該算法已經(jīng)具備了一定的優(yōu)越性。
此項實驗突破了AI病理三類證審批的關(guān)鍵難點
囿于其決策流程的不可解釋性,“深度學習”一直被遵循循證醫(yī)學指南的臨床醫(yī)生拒之門外,成為了制約醫(yī)學影像人工智能發(fā)展,特別是獲得三類證審批的關(guān)鍵。
而本次實驗則為人工智能的審批提供新的思路:雖然現(xiàn)階段的人工智能仍不具備推理能力,但我們能將醫(yī)生的推理步驟模塊化,從而模擬推理的過程。此外,本次實驗中的文字匹配過程是按照WHO標準并具有嚴格依據(jù)的,這與許多基于多樣本深度學習生成的勾畫不同,實驗的每一個步驟都可由AI提供決策依據(jù),并非單純概率云下的黑箱運算。
楊林教授現(xiàn)任職于迪英加CEO,這是迪英加科技在三類證申報過程中的一步堅實工作,用于解決CFDA三類證申報中廣泛要求的可解釋行提供了關(guān)鍵的核心技術(shù)解決方案。
在采訪過程之中,楊林教授也對本次實驗的不足之處進行了總結(jié)。首先,由于時間的原因,樣本的選擇檢測本身具有一定的封閉性,隨著持續(xù)數(shù)據(jù)收集的廣度和深度的提升,論文中的工作也一定會有改進之處。
其次,推理流程的劃分是否足夠細致,以及推理過程是否存在偶然性可以進一步論證。
最后,這項研究沒有控制參與病理醫(yī)師的疲勞程度,這可能是影響AUC的獨立因素,需要進一步研究這一系統(tǒng)對不同疲勞水平醫(yī)生的有效性。
總的來說,無論是人工智能技術(shù),還是本次實驗的病理本身,我們都能看到很多突破的可能。目前的人工智能影像產(chǎn)品仍聚集于放射科,當他們嘗試進一步進入臨床相關(guān)科室時,這項技術(shù)同樣需要新的標準對其進行驗證。
此外,AI于病理的運用也遠不局限于切片識別,機體組織樣本中內(nèi)部特征的量化分析與臨床評價;細胞和動物組織樣本的量化分析與藥效關(guān)系;細胞識別與分選;特殊染色結(jié)果的量化分析和臨床治療與預(yù)后也均有AI介入研究。病理于AI是一片看不見的深海。
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4733瀏覽量
100415 -
人工智能
+關(guān)注
關(guān)注
1789文章
46652瀏覽量
237070 -
ai技術(shù)
+關(guān)注
關(guān)注
1文章
1250瀏覽量
24198
原文標題:將門投資企業(yè) | 迪英加團隊工作發(fā)表在Nature子刊,提出AI病理診斷解釋方案
文章出處:【微信號:thejiangmen,微信公眾號:將門創(chuàng)投】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論