弱監(jiān)督學(xué)習(xí)解鎖醫(yī)學(xué)影像洞察力

人工智能 (AI) 通過比人類專家更快、更準(zhǔn)確地檢測和測量異常情況，從圖像中進(jìn)行先進(jìn)的醫(yī)學(xué)診斷。構(gòu)建適用于人群的高質(zhì)量 AI 模型對于改善患者預(yù)后和個性化治療至關(guān)重要。然而，人工智能模型最近需要大量數(shù)據(jù)，以及機(jī)器可以從中學(xué)習(xí)的復(fù)雜數(shù)據(jù)集標(biāo)簽。

今天，被稱為弱監(jiān)督學(xué)習(xí)的深度學(xué)習(xí) (DL) 的一個分支正在幫助醫(yī)生通過減少對完整、準(zhǔn)確和準(zhǔn)確數(shù)據(jù)標(biāo)簽的需求，以更少的努力獲得更多的洞察力。弱監(jiān)督學(xué)習(xí)通過利用更容易獲得的粗略標(biāo)簽（例如在圖像級別而不是圖像中感興趣的分割）來工作，并允許使用預(yù)先訓(xùn)練的模型和常見的可解釋性方法。在下文中，我們將研究管理數(shù)據(jù)如何在弱監(jiān)督學(xué)習(xí)中發(fā)揮作用。

標(biāo)記在醫(yī)學(xué)成像中很困難

標(biāo)記圖像在醫(yī)療行業(yè)中尤其具有挑戰(zhàn)性。首先，標(biāo)記數(shù)據(jù)既有限又難以獲得，因?yàn)獒t(yī)學(xué)圖像和有關(guān)結(jié)果/結(jié)果的數(shù)據(jù)通常存儲在單獨(dú)的系統(tǒng)中。例如，來自計算機(jī)斷層掃描 (CT) 或磁共振成像 (MRI) 的圖像可能在醫(yī)院數(shù)據(jù)中可用，但活檢或腫瘤切除的結(jié)果通常存儲在病理實(shí)驗(yàn)室——通常是醫(yī)院外的私人診所。盡管可以協(xié)調(diào)某些數(shù)據(jù)的數(shù)據(jù)和標(biāo)簽，但訪問和匯總數(shù)據(jù)可能會變得非常耗時，尤其是在涉及多個私人診所時。

此外，在圖像中發(fā)現(xiàn)和標(biāo)記疾病及其進(jìn)展的跡象（稱為生物標(biāo)志物）一直非常耗時且復(fù)雜，因?yàn)楸仨氈饌€像素地標(biāo)記數(shù)據(jù)，從而產(chǎn)生數(shù)千個標(biāo)簽。在期望算法分割圖像區(qū)域或產(chǎn)生區(qū)域的特定定位（例如病變或手術(shù)邊界）的應(yīng)用中尤其如此。這通常成本高昂，因?yàn)橥ǔＰ枰獙I(yè)知識，并且需要三個維度的標(biāo)簽，如 MRI 和 CT 圖像體積。將這兩個缺點(diǎn)加在一起，為成像數(shù)據(jù)生成標(biāo)簽就成了一項(xiàng)昂貴的工作。這也限制了能夠外包標(biāo)簽過程的可能性。

由于需要專業(yè)知識，標(biāo)簽的質(zhì)量可能會有所不同，并會影響 DL 模型的最終性能。標(biāo)簽的準(zhǔn)確性是這里的一個問題。通常，經(jīng)驗(yàn)不足的放射科醫(yī)生或住院醫(yī)師必須對數(shù)據(jù)進(jìn)行注釋以進(jìn)行培訓(xùn)。與具有數(shù)十年工作經(jīng)驗(yàn)的臨床醫(yī)生相比，結(jié)果并不準(zhǔn)確。讀者間和讀者內(nèi)的可變性也發(fā)揮了作用。前者描述了讀者之間的注釋將如何略有不同。后者指的是當(dāng)單個讀者要求在兩個不同的時間點(diǎn)分割圖像時，也會產(chǎn)生略有不同的結(jié)果。

最后，人工標(biāo)記也會限制結(jié)果。機(jī)器學(xué)習(xí)的一個好處是該模型可以得出人類永遠(yuǎn)無法獲得的見解，并且將標(biāo)簽限制在人類輸入的內(nèi)容上可能會限制結(jié)果。例如，人工智能只會學(xué)習(xí)復(fù)制人類對某些任務(wù)的想法，這意味著它們可以無意中復(fù)制特定人類的偏見。此外，輸入數(shù)據(jù)的其他區(qū)域中的其他特征可以預(yù)測但被丟棄，因?yàn)樗鼈儾恢苯勇湓谶x定的感興趣區(qū)域內(nèi)。例如，疾病跡象可能在周圍組織或附近的不同器官中很明顯。

利用弱監(jiān)督學(xué)習(xí)

在這些情況下，使用更粗略的標(biāo)簽通常更有益，例如圖像是否包含癌癥或其他感興趣的疾病，并允許模型找到最具辨別力的特征（圖 1）。這就是弱監(jiān)督學(xué)習(xí)的用武之地。

圖 1：使用弱監(jiān)督學(xué)習(xí)的自動注釋示例，其中 AI 發(fā)現(xiàn)了病理學(xué)家未檢測到的預(yù)測特征。（來源：病理信息學(xué)團(tuán)隊(duì)，RIKEN 高級智能項(xiàng)目中心）

弱監(jiān)督學(xué)習(xí)描述了 DL 的一個分支，旨在減少生成性能良好的 DL 模型所需的標(biāo)簽數(shù)量或詳細(xì)程度。這種方法可以大致分為三大類：不完整、不準(zhǔn)確和不準(zhǔn)確的標(biāo)簽。此處使用“大致”一詞是因?yàn)榭梢栽趩蝹€數(shù)據(jù)集中使用多種標(biāo)記方法，并且弱監(jiān)督標(biāo)記旨在幫助根據(jù)需要進(jìn)行任何組合：

當(dāng)數(shù)據(jù)集的一部分被標(biāo)記時，通常會出現(xiàn)不完整的標(biāo)簽，而其余部分則沒有。

不精確的標(biāo)簽包括使用圖像的整體結(jié)果而不需要分割特定的感興趣區(qū)域。

不準(zhǔn)確的標(biāo)簽，源于人類缺乏專業(yè)知識以及某些疾病指標(biāo)之間的模糊或不確定性。

有趣的是，如果可以使用更粗略、更容易獲得的標(biāo)簽來產(chǎn)生良好的結(jié)果，那么不精確的標(biāo)簽可能比不完整或不準(zhǔn)確的標(biāo)簽更有用。不精確的標(biāo)簽更容易正確，因?yàn)樗鼈儾恍枰c其他標(biāo)簽相同的詳細(xì)程度，而且它們通常更容易獲得，例如從報告中提取癌癥階段作為標(biāo)簽，以指示掃描中有癌癥作為與手動突出顯示 3D 成像上的癌變區(qū)域相反。對于不精確的標(biāo)簽，數(shù)據(jù)集可能會有更多可用的標(biāo)簽，并且準(zhǔn)確度更高。特別是，這減少了對高水平專業(yè)知識的需求來突出所有相關(guān)像素。

在最常見的醫(yī)學(xué)成像用例（例如檢測和定位感興趣區(qū)域）中利用此類不精確標(biāo)簽的流行方法使用兩步過程：

主干，例如訓(xùn)練 DL 模型以預(yù)測由不精確標(biāo)簽描述的類。

一旦開發(fā)用于預(yù)測特定掃描，使用像素歸因方法（也稱為顯著性或可解釋性方法）來突出模型決策的最相關(guān)區(qū)域。

圖 2說明了不同的基于梯度的像素歸因方法的示例。

圖 2：兩個輸入圖像（金魚和熊）以及可用于在弱監(jiān)督學(xué)習(xí)期間執(zhí)行分割的基于梯度的像素歸因方法示例。（來源：Github 上的 TF Keras Vis）

卷積神經(jīng)網(wǎng)絡(luò)作為主干

由于醫(yī)療用例經(jīng)常使用成像數(shù)據(jù)，因此卷積神經(jīng)網(wǎng)絡(luò) (CNN) 是用作弱監(jiān)督學(xué)習(xí)基礎(chǔ)的主要 DL 框架也就不足為奇了。CNN 通過學(xué)習(xí)減少醫(yī)學(xué)掃描中的數(shù)百萬像素來工作——通常將 3D 體積減少為低維表示——然后將其映射到類標(biāo)簽。

在弱監(jiān)督學(xué)習(xí)中，可以組合方法。例如，可以在您的數(shù)據(jù)集上訓(xùn)練一個新網(wǎng)絡(luò)（這提供了其他類似數(shù)據(jù)源的好處）。預(yù)訓(xùn)練的網(wǎng)絡(luò)可用于對新任務(wù)執(zhí)行遷移學(xué)習(xí)。例如，ResNet50 和 VGG16 是在日常生活中發(fā)現(xiàn)的數(shù)百萬張圖像上訓(xùn)練的兩種 CNN 架構(gòu)。盡管它們沒有在醫(yī)學(xué)圖像上進(jìn)行過訓(xùn)練，但它們?nèi)匀缓苡杏?，因?yàn)樵谀Ｐ偷脑缙趯又袑W(xué)習(xí)到的卷積濾波器往往是通用特征，例如線條、形狀和紋理，這對醫(yī)學(xué)成像很有用。

使用這些模型之一進(jìn)行遷移學(xué)習(xí)就像移除最終的類預(yù)測層并使用代表新醫(yī)學(xué)成像任務(wù)的類的層重新初始化它一樣簡單。盡管最終目標(biāo)是獲得突出圖像中相關(guān)對象和感興趣區(qū)域的輸出，但第一步只是首先預(yù)測圖像中是否存在這些感興趣區(qū)域。

弱監(jiān)督本地化的 AI 可解釋性

一旦 DL 主干經(jīng)過訓(xùn)練并且可以準(zhǔn)確地預(yù)測感興趣的類別，下一步將是使用眾多 AI 可解釋性方法中的一種來生成感興趣區(qū)域的分割。開發(fā)這些可解釋性方法（也稱為像素歸因方法）是為了深入了解深度學(xué)習(xí)模型在做出特定預(yù)測時在圖像中查看的內(nèi)容。輸出是某種形式的可視化——通常稱為顯著性圖——可以根據(jù)最終目標(biāo)以幾種不同的方式計算。

最流行的方法之一是使用基于梯度的顯著圖。在其核心，這涉及進(jìn)行輸出預(yù)測并檢查構(gòu)成該輸出的所有神經(jīng)元。根據(jù)方法的不同，這種檢查可以一直追溯到第一個輸入層——Vanilla Gradients。或者它可以停止在稍后的某個層，例如神經(jīng)網(wǎng)絡(luò)架構(gòu)中的最后一個卷積層——GradCAM（圖 3）。其他變體做不同的事情，例如產(chǎn)生更平滑的感興趣區(qū)域，改善簡單變體的限制，或者圍繞所需特征生成更緊密的分割。

圖 3：GradCAM 是一種 ML 可解釋性方法，可用于在弱監(jiān)督學(xué)習(xí)中分割特征，它采用與最后一個卷積層有關(guān)的輸出類的梯度。（來源：麻省理工學(xué)院計算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室的 Zhou 等人）

結(jié)論

直到最近，識別醫(yī)學(xué)圖像中的生物標(biāo)志物還需要大量復(fù)雜標(biāo)記的成像數(shù)據(jù)。然而，弱監(jiān)督學(xué)習(xí)等技術(shù)減少了對完整、準(zhǔn)確和準(zhǔn)確的數(shù)據(jù)標(biāo)簽的需求，并減少了在時間和專業(yè)知識方面成本太高而無法獲得的洞察力。弱監(jiān)督學(xué)習(xí)通過利用更容易獲得的粗標(biāo)簽來工作——例如在圖像級別而不是圖像中感興趣的分割。它允許重復(fù)使用預(yù)訓(xùn)練的 CNN 模型，然后使用常見的可解釋性方法根據(jù)預(yù)測的類突出顯示感興趣的區(qū)域。這兩點(diǎn)允許在沒有廣泛的像素級注釋的情況下為各種應(yīng)用程序?qū)︶t(yī)學(xué)成像數(shù)據(jù)進(jìn)行訓(xùn)練的模型。

編輯6.20
審核編輯 黃昊宇