跨解剖域自適應(yīng)對(duì)比半監(jiān)督學(xué)習(xí)方法解析

U-Net 在醫(yī)學(xué)圖像分割方面已經(jīng)取得了最先進(jìn)的表現(xiàn)，但是需要大量手動(dòng)注釋的圖像來(lái)進(jìn)行訓(xùn)練。半監(jiān)督學(xué)習(xí)（SSL）方法可以減少注釋的需求，但是當(dāng)數(shù)據(jù)集和注釋圖像數(shù)量較小時(shí)，其性能仍然受到限制。利用具有相似解剖結(jié)構(gòu)的現(xiàn)有標(biāo)注數(shù)據(jù)集來(lái)輔助訓(xùn)練可以提高模型性能。但是，這個(gè)方法面臨的挑戰(zhàn)是由于目標(biāo)結(jié)構(gòu)的外觀和成像模式與現(xiàn)有標(biāo)注數(shù)據(jù)集不同，導(dǎo)致解剖跨域差異。為了解決這個(gè)問題，這篇論文提出了跨解剖域自適應(yīng)對(duì)比半監(jiān)督學(xué)習(xí)（Contrastive Semi-supervised learning for Cross Anatomy Domain Adaptation，CS-CADA）方法，通過利用源域中一組類似結(jié)構(gòu)的現(xiàn)有標(biāo)注圖像來(lái)適應(yīng)目標(biāo)域的模型分割類似結(jié)構(gòu)，只需要在目標(biāo)域中進(jìn)行少量標(biāo)注。

有一些細(xì)節(jié)的方法我們先簡(jiǎn)單概述下，CS-CADA 使用領(lǐng)域特定批歸一化（Domain Specific Batch Normalization ，DSBN）來(lái)分別歸一化兩個(gè)解剖域的特征圖，并提出跨域?qū)Ρ葘W(xué)習(xí)策略來(lái)鼓勵(lì)提取領(lǐng)域不變性特征。它們被整合到自我集成平均教師（Self-Ensembling Mean-Teacher，SE-MT）框架中，以利用具有預(yù)測(cè)一致性約束的未標(biāo)注目標(biāo)域圖像。實(shí)驗(yàn)證明 CS-CADA 能夠解決具有挑戰(zhàn)性的解剖跨域差異問題，只給出目標(biāo)域中少量的標(biāo)注，就能夠在 X 光血管造影圖像分割中使用視網(wǎng)膜血管圖像，在心臟 MR 圖像分割中使用眼底圖像，如下圖所示。

前置知識(shí)

Semi-supervised Learning

在半監(jiān)督學(xué)習(xí)中，一個(gè)典型的例子是 Mean-Teacher。與對(duì)抗網(wǎng)絡(luò)類似，其整體架構(gòu)包含了兩個(gè)網(wǎng)絡(luò)：teacher 網(wǎng)絡(luò)和 student 網(wǎng)絡(luò)。不過與對(duì)抗網(wǎng)絡(luò)不同的是，這兩個(gè)網(wǎng)絡(luò)結(jié)構(gòu)是相同的，teacher 網(wǎng)絡(luò)參數(shù)通過 student 網(wǎng)絡(luò)計(jì)算得到，student 網(wǎng)絡(luò)參數(shù)通過損失函數(shù)梯度下降更新得到。

（1）teacher 網(wǎng)絡(luò)參數(shù)更新：整個(gè)訓(xùn)練過程中 teacher 網(wǎng)絡(luò)的參數(shù)通過 student 網(wǎng)絡(luò)參數(shù)的 moving Average 更新：

（2）student 網(wǎng)絡(luò)參數(shù)更新：通過梯度下降更新參數(shù)得到損失函數(shù)包含兩部分：第一部分是有監(jiān)督損失函數(shù)，主要是保證有標(biāo)簽訓(xùn)練數(shù)據(jù)擬合；第二部分是無(wú)監(jiān)督損失函數(shù)，主要保證 teacher 網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果與 student 網(wǎng)絡(luò)的預(yù)測(cè)標(biāo)簽盡量的相似。由于teacher 的參數(shù)是 student 網(wǎng)絡(luò)參數(shù)的 moving Average，因此要求不管什么樣本預(yù)測(cè)標(biāo)簽都不應(yīng)該有太大的抖動(dòng)，類似于對(duì)標(biāo)簽做了平滑，保證其輸出結(jié)果更具有穩(wěn)定性，無(wú)標(biāo)簽數(shù)據(jù)也可以構(gòu)造該損失函數(shù)。

假設(shè)有一批訓(xùn)練樣本 x1，x2，其中 x1 是有標(biāo)簽數(shù)據(jù)，x2 是無(wú)標(biāo)簽數(shù)據(jù)。具體訓(xùn)練過程如下：步驟一，把這一批樣本作為 student 網(wǎng)絡(luò)輸入，然后分別得到輸出標(biāo)簽 ys1 和 ys2；步驟二，損失函數(shù) L1，對(duì)于有標(biāo)簽樣本 X1，構(gòu)造分類損失函數(shù)；步驟三，損失函數(shù) L2，通過 student 網(wǎng)絡(luò)參數(shù)，更新計(jì)算 teacher 網(wǎng)絡(luò)參數(shù)，并把樣本 x1，x2 輸入 teacher 網(wǎng)絡(luò)，得到預(yù)測(cè)標(biāo)簽 yt1，yt2，然后構(gòu)造防標(biāo)簽抖動(dòng)，連續(xù)性損失函數(shù)（直接采用 MSE 損失函數(shù)）；步驟四，根據(jù) L=L1+L2 進(jìn)行梯度下降，求解更新 student 網(wǎng)絡(luò)參數(shù)。

Domain Adaptation

在這一部分我們只做思路介紹，不做論文中具體例子的講解。其目標(biāo)就是將原數(shù)據(jù)域（source domain）盡可能好的遷移到目標(biāo)域（target domain），Domain Adaptation 任務(wù)中往往源域和目標(biāo)域?qū)儆谕活惾蝿?wù)，即源于為訓(xùn)練樣本域（有標(biāo)簽），目標(biāo)域?yàn)闇y(cè)集域，其測(cè)試集域無(wú)標(biāo)簽或只有少量標(biāo)簽，但是分布不同或數(shù)據(jù)差異大，具體根據(jù)這兩點(diǎn)可以劃分為：

homogeneous 同質(zhì)：target 與 source domain 特征空間相似，但數(shù)據(jù)分布存在 distribution shift。

heterogeneous 異構(gòu)：target 與 source domain 特征空間不同。

non-equal：空間不同且數(shù)據(jù)偏移，這種就屬于差異很大的情況了，可借助中間輔助 data 來(lái) bridge the gap，用 multi-step / transitive DA 來(lái)解決。

這也是與 Pre-traning 不一樣的地方，現(xiàn)在流行的 Pre-traning 技術(shù)也需要后期的很多數(shù)據(jù)才行。但由于 DA 的目標(biāo)域是沒有標(biāo)簽的，那么如何使在源于訓(xùn)練得到的模型也能夠被目標(biāo)域使用呢？很自然的想法是將源域和目標(biāo)域映射到一個(gè)特征空間中，使其在該空間中的距離盡可能近。于是產(chǎn)生了三大類方法：

樣本自適應(yīng)，對(duì)源域樣本進(jìn)行加權(quán)重采樣，使得重采樣后的源域樣本和目標(biāo)域樣本分布基本一致，然后在重采樣的樣本集合上重新學(xué)習(xí)分類器，即把源域和目標(biāo)域相似的數(shù)據(jù)直接加權(quán)然后再訓(xùn)練。這種方法雖然簡(jiǎn)單但太過依賴于設(shè)計(jì)和經(jīng)驗(yàn)。

特征層面自適應(yīng)，將源域和目標(biāo)域投影到公共特征子空間，在子空間中兩者的數(shù)據(jù)分布一致。

模型層面自適應(yīng)，對(duì)源域誤差函數(shù)進(jìn)行修改，考慮目標(biāo)域的誤差。主要有兩種方式，一是直接建模模型，但是在模型中加入“domain 間距離近”的約束，二是采用迭代的方法，漸進(jìn)的對(duì)目標(biāo)域的樣本進(jìn)行分類，將信度高的樣本加入訓(xùn)練集，并更新模型。

技術(shù)手段主要分為 Discrepancy-based（空間距離近）和 Adversarial-based（混淆空間）。

Contrastive Learning

對(duì)比學(xué)習(xí)是一種自監(jiān)督的學(xué)習(xí)方法，旨在通過學(xué)習(xí)相似和不相似的樣本之間的差異，從而為后續(xù)的下游任務(wù)提供有用的特征。在這篇論文中，使用對(duì)比學(xué)習(xí)方法進(jìn)行跨解剖域自適應(yīng)，旨在訓(xùn)練一個(gè)能夠提取具有域不變性的特征的模型。這種方法與以往的對(duì)比學(xué)習(xí)方法不同之處在于，它是用于解決跨域問題的，并且它特別強(qiáng)調(diào)了模型應(yīng)該在相似的解剖結(jié)構(gòu)之間提取全面的特征。通過這種方法，可以訓(xùn)練出一個(gè)能夠在不同解剖域上具有較好性能的模型。

CS-CADA 方法介紹

在這一部分，主要介紹 CS-CADA 方法的實(shí)現(xiàn)流程，主要由三部分組成，分別是 DSBN、SE-MT 和跨域?qū)Ρ葘W(xué)習(xí)模塊。橙色圓圈和藍(lán)色圓圈分別表示源域和目標(biāo)域經(jīng)過 DBSN 處理后的特征，因?yàn)?DBSN 的設(shè)計(jì)，每個(gè)域上會(huì)輸出兩種特征。

Joint Learning with Domain-Specific Batch Normalization(DSBN)

源域和目標(biāo)域之間存在差異，如果直接使用來(lái)自這兩個(gè)域的數(shù)據(jù)進(jìn)行訓(xùn)練，則會(huì)受到域間統(tǒng)計(jì)變化的影響，從而無(wú)法學(xué)習(xí)到通用的特征表示。為了解決這個(gè)問題，提出了一種稱為 DSBN 的方法，在網(wǎng)絡(luò)中引入了兩種不同的批歸一化，分別用于處理兩個(gè)域中的數(shù)據(jù)。通過采用這種方法，可以更好地處理源域和目標(biāo)域之間的差異，并從中學(xué)習(xí)到更通用的特征表示。DSBN 會(huì)對(duì)每個(gè)域中的特征進(jìn)行歸一化，并使用特定于該域的參數(shù)來(lái)對(duì)其進(jìn)行仿射變換。同時(shí)，卷積核在兩個(gè)域之間是共享的，以學(xué)習(xí)到更通用的表示。

編輯：黃飛

?