3D架構(gòu)相對(duì)于等效2D實(shí)現(xiàn)的性能增益

本文介紹了一種從稀疏標(biāo)注的體積圖像中學(xué)習(xí)的體積分割網(wǎng)絡(luò)。我們概述了該方法的兩個(gè)有吸引力的用例：（1）在半自動(dòng)設(shè)置中，用戶注釋要分割的體積中的一些切片。網(wǎng)絡(luò)從這些稀疏注釋中學(xué)習(xí)并提供密集的3D分割。(2)在全自動(dòng)設(shè)置中，我們假設(shè)存在一個(gè)有代表性的、稀疏注釋的訓(xùn)練集。在這個(gè)數(shù)據(jù)集上訓(xùn)練，網(wǎng)絡(luò)密集分割新的體積圖像。所提出的網(wǎng)絡(luò)擴(kuò)展了Ronneberger等人先前的u-net架構(gòu)。通過將所有2D操作替換為對(duì)應(yīng)的3D操作。該實(shí)現(xiàn)在訓(xùn)練期間執(zhí)行動(dòng)態(tài)彈性變形以實(shí)現(xiàn)有效的數(shù)據(jù)增強(qiáng)。它是從頭開始端到端訓(xùn)練的，即不需要預(yù)先訓(xùn)練的網(wǎng)絡(luò)。我們?cè)趶?fù)雜、高度可變的3D結(jié)構(gòu)（非洲爪蟾腎臟）上測(cè)試了所提出方法的性能，并在兩個(gè)用例中都取得了良好的效果。

「關(guān)鍵詞：」卷積神經(jīng)網(wǎng)絡(luò)，3D，生物醫(yī)學(xué)體積圖像分割，非洲爪蟾腎臟，半自動(dòng)，全自動(dòng)，稀疏標(biāo)注

1 Introduction

體積數(shù)據(jù)在生物醫(yī)學(xué)數(shù)據(jù)分析中非常豐富。使用分段標(biāo)簽對(duì)此類數(shù)據(jù)進(jìn)行注釋會(huì)造成困難，因?yàn)橛?jì)算機(jī)屏幕上只能顯示2D切片。因此，以逐片的方式注釋大量數(shù)據(jù)是非常繁瑣的。這也是低效的，因?yàn)橄噜徢衅@示幾乎相同的信息。特別是對(duì)于需要大量注釋數(shù)據(jù)的基于學(xué)習(xí)的方法，3D 體積的完整注釋不是創(chuàng)建能夠很好地泛化的大型和豐富的訓(xùn)練數(shù)據(jù)集的有效方法。

圖 1：使用3D u-net進(jìn)行體積分割的應(yīng)用場(chǎng)景。(a)半自動(dòng)分割：用戶注釋要分割的每個(gè)體積的一些切片。網(wǎng)絡(luò)預(yù)測(cè)密集分割。(b)全自動(dòng)分割：網(wǎng)絡(luò)使用來自代表性訓(xùn)練集的帶注釋切片進(jìn)行訓(xùn)練，并且可以在非注釋卷上運(yùn)行。

?

在本文中，我們提出了一個(gè)深度網(wǎng)絡(luò)，它可以學(xué)習(xí)生成密集的體積分割，但只需要一些帶注釋的2D切片進(jìn)行訓(xùn)練。該網(wǎng)絡(luò)可以以兩種不同的方式使用，如圖1所示：第一個(gè)應(yīng)用案例僅針對(duì)密集化稀疏注釋的數(shù)據(jù)集；第二個(gè)從多個(gè)稀疏注釋的數(shù)據(jù)集中學(xué)習(xí)以推廣到新數(shù)據(jù)。這兩個(gè)案例都具有高度相關(guān)性。

該網(wǎng)絡(luò)基于之前的u-net架構(gòu)，由一個(gè)用于分析整個(gè)圖像的收縮編碼器部分和一個(gè)用于產(chǎn)生全分辨率分割的連續(xù)擴(kuò)展解碼器部分組成 [11]。雖然u-net是一個(gè)完全2D的架構(gòu)，但本文提出的網(wǎng)絡(luò)將3D卷作為輸入，并使用相應(yīng)的3D操作對(duì)其進(jìn)行處理，特別是3D convolutions,3D max pooling, 和3D up-convolutional層。此外，我們避免了網(wǎng)絡(luò)架構(gòu)[13]中的瓶頸，并使用批量歸一化[4]來加快收斂速度。

在許多生物醫(yī)學(xué)應(yīng)用中，只需要很少的圖像來訓(xùn)練一個(gè)泛化能力相當(dāng)好的網(wǎng)絡(luò)。這是因?yàn)槊總€(gè)圖像已經(jīng)包含具有相應(yīng)變化的重復(fù)結(jié)構(gòu)。在體積圖像中，這種效果更加明顯，因此我們可以只在兩個(gè)體積圖像上訓(xùn)練一個(gè)網(wǎng)絡(luò)，以便推廣到第三個(gè)。加權(quán)損失函數(shù)和特殊的數(shù)據(jù)增強(qiáng)使我們能夠僅使用少量手動(dòng)注釋切片來訓(xùn)練網(wǎng)絡(luò)，即來自稀疏注釋的訓(xùn)練數(shù)據(jù)。

我們展示了所提出的方法在困難的爪蟾腎共焦顯微數(shù)據(jù)集上的成功應(yīng)用。在其發(fā)展過程中，非洲爪蟾腎臟形成了一個(gè)復(fù)雜的結(jié)構(gòu)[7]，這限制了預(yù)定義參數(shù)模型的適用性。首先，我們提供定性結(jié)果來證明少數(shù)帶注釋切片的稠密化質(zhì)量。這些結(jié)果得到定量評(píng)估的支持。我們還提供了實(shí)驗(yàn)，顯示了帶注釋的切片數(shù)量對(duì)我們網(wǎng)絡(luò)性能的影響?；贑affe[5]的網(wǎng)絡(luò)實(shí)現(xiàn)作為開源提供。

1.1 Related Work

具有挑戰(zhàn)性的生物醫(yī)學(xué)2D圖像可以通過CNN以接近人類表現(xiàn)的精度進(jìn)行分割[11，12，3]。由于這一成功，已經(jīng)進(jìn)行了幾次嘗試將3D CNNs應(yīng)用于生物醫(yī)學(xué)體積數(shù)據(jù)。Milletari等人[9]提出了一種結(jié)合Hough投票法的CNN用于3D分割。然而，他們的方法不是端到端的，只適用于緊湊的團(tuán)狀結(jié)構(gòu)。Kleesiek等人[6]的方法是用于3D分割的少數(shù)端到端3D CNN方法之一。然而，它們的網(wǎng)絡(luò)并不深，在第一次卷積后只有一個(gè)最大池；因此，它不能在多個(gè)尺度上分析結(jié)構(gòu)。我們的工作基于2D u-net [11]，該網(wǎng)絡(luò)在2015年贏得了多項(xiàng)國(guó)際分割和跟蹤比賽。u-net的體系結(jié)構(gòu)和數(shù)據(jù)擴(kuò)充允許僅從幾個(gè)帶注釋的樣本中學(xué)習(xí)具有非常好的泛化性能的模型。它利用了這樣一個(gè)事實(shí)，即適當(dāng)應(yīng)用的剛性變換和輕微的彈性變形仍然會(huì)產(chǎn)生生物上似是而非的圖像。上行卷積架構(gòu)，如用于語義分割的全卷積網(wǎng)絡(luò)[8]和u-net，仍然沒有廣泛傳播，我們只知道一種將這種架構(gòu)推廣到3D的嘗試[14]。在Tran等人的這項(xiàng)工作中，該架構(gòu)被應(yīng)用于視頻，并且完整的注釋可用于訓(xùn)練。本文的重點(diǎn)是，由于其無縫拼接策略，它可以在稀疏標(biāo)注的卷上從頭開始訓(xùn)練，并且可以在任意大的卷上工作。

2 Network Architecture

圖2說明了網(wǎng)絡(luò)架構(gòu)。像標(biāo)準(zhǔn)的u-net一樣，它有一個(gè)分析和綜合路徑，每個(gè)路徑有四個(gè)解析步驟。在分析路徑中，每一層包含兩個(gè)3 × 3 × 3卷積，每個(gè)卷積后跟一個(gè)整流線性單元(ReLu)，然后是一個(gè)2 × 2 × 2最大池化，每個(gè)維度的步長(zhǎng)為2。在合成路徑中，每一層都包括一個(gè)2 × 2 × 2的上卷積，每個(gè)維度上的步長(zhǎng)為2，然后是兩個(gè)3 × 3 × 3的卷積，每個(gè)卷積之后是一個(gè)ReLu。分析路徑中相同分辨率層的快捷連接為合成路徑提供了基本的高分辨率特征。在最后一層中，1×1×1卷積將輸出通道的數(shù)量減少到標(biāo)簽的數(shù)量，在本例中為3個(gè)。該架構(gòu)共有19069955個(gè)參數(shù)。正如[13]中所建議的，我們通過在最大池化之前將通道數(shù)量翻倍來避免瓶頸。我們?cè)诤铣陕窂街幸膊捎眠@種方案。

圖 2: 3D u-net架構(gòu)。藍(lán)框代表要素地圖。通道的數(shù)量在每個(gè)特征圖上標(biāo)出。

?

網(wǎng)絡(luò)的輸入是具有3個(gè)通道的圖像的132 × 132 × 116體素塊。我們?cè)谧詈笠粚拥妮敵龇謩e是x、y和z方向的44×44×28個(gè)體素。在體素尺寸為1.76×1.76×2.04的情況下，對(duì)于預(yù)測(cè)分割中的每個(gè)體素，近似感受野變?yōu)?55×155×180。因此，每個(gè)輸出體素都可以訪問足夠的上下文來有效地學(xué)習(xí)。 我們還在每次ReLU之前引入了批處理歸一化(“BN”)。在[4]中，每批在訓(xùn)練期間用其平均值和標(biāo)準(zhǔn)偏差進(jìn)行歸一化，并使用這些值更新全局統(tǒng)計(jì)數(shù)據(jù)。接下來是一個(gè)層，用于顯式學(xué)習(xí)比例和偏差。在測(cè)試時(shí)，通過這些計(jì)算出的全局統(tǒng)計(jì)數(shù)據(jù)和學(xué)習(xí)到的標(biāo)度和偏差來進(jìn)行標(biāo)準(zhǔn)化。然而，我們有一個(gè)批量和幾個(gè)樣品。在這樣的應(yīng)用程序中，在測(cè)試時(shí)使用當(dāng)前的統(tǒng)計(jì)數(shù)據(jù)效果最好。 該架構(gòu)的重要部分是加權(quán)的softmax損失函數(shù)，它允許我們對(duì)稀疏注釋進(jìn)行訓(xùn)練。將未標(biāo)記像素的權(quán)重設(shè)置為零使得可以僅從標(biāo)記的像素中學(xué)習(xí)，從而推廣到整個(gè)體積。

3 Implementation Details

3.1 Data

我們有三個(gè)處于Nieuwkoop-Faber階段36-37的爪蟾腎胚胎樣本[10]。其中一個(gè)如圖1所示(左)。使用配備有Plan-Apochromat 40x/1.3油浸物鏡的Zeiss LSM 510 DUO倒置共焦顯微鏡，在具有3個(gè)通道的四個(gè)瓷磚中記錄了3D數(shù)據(jù)，體素尺寸為0.88×0.88×1.02。第一個(gè)通道顯示番茄凝集素與488nm激發(fā)波長(zhǎng)的熒光素偶聯(lián)。第二個(gè)通道顯示在405nm激發(fā)下DAPI染色的細(xì)胞核。第三個(gè)通道顯示Beta-Catenin使用標(biāo)記有Cy3的二抗在564nm激發(fā)下標(biāo)記細(xì)胞膜。我們使用Slicer3D在每個(gè)體積中手動(dòng)注釋一些正交的xy、xz和yz切片[2]。根據(jù)良好的數(shù)據(jù)表示選擇注釋位置，即在所有3個(gè)維度上盡可能均勻地采樣注釋切片。不同的結(jié)構(gòu)被賦予標(biāo)簽0:“小管內(nèi)”；1:“小管”；2:“背景”，3:“未標(biāo)注”。未標(biāo)記切片中的所有體素也獲得標(biāo)記3(“未標(biāo)記”)。我們對(duì)原始分辨率的下采樣版本進(jìn)行了所有的實(shí)驗(yàn)，在每個(gè)維度上的因子為2。因此，對(duì)于我們的樣本1、2和3，實(shí)驗(yàn)中使用的數(shù)據(jù)大小在x × y × z維度上分別為248 × 244 × 64、245 × 244 × 56和246 × 244 × 59。對(duì)于樣本1、2和3，正交(yz、xz、xy)切片中人工注釋的切片數(shù)量分別為(7、5、21)、(6、7、12)和(4、5、10)。

3.2 Training

除了旋轉(zhuǎn)、縮放和灰度值增強(qiáng)之外，我們還在數(shù)據(jù)和ground truth標(biāo)簽上應(yīng)用了平滑的密集變形場(chǎng)。為此，我們?cè)诿總€(gè)方向上間隔32個(gè)體素的網(wǎng)格中從標(biāo)準(zhǔn)偏差為4的正態(tài)分布中采樣隨機(jī)向量，然后應(yīng)用B-spline插值。使用帶有加權(quán)交叉熵?fù)p失的softmax比較網(wǎng)絡(luò)輸出和ground truth標(biāo)簽，我們減少常見背景的權(quán)重并增加內(nèi)小管的權(quán)重，以達(dá)到小管和背景體素對(duì)損失的平衡影響。標(biāo)簽為3（“未標(biāo)記”）的體素對(duì)損失計(jì)算沒有貢獻(xiàn)，即權(quán)重0。我們使用Caffe [5]框架的隨機(jī)梯度下降求解器進(jìn)行網(wǎng)絡(luò)訓(xùn)練。為了能夠訓(xùn)練大型3D網(wǎng)絡(luò)，我們使用了內(nèi)存高效的卷積層實(shí)現(xiàn)。數(shù)據(jù)增強(qiáng)是即時(shí)完成的，這會(huì)產(chǎn)生與訓(xùn)練迭代一樣多的不同圖像。我們?cè)贜VIDIA TitanX GPU上運(yùn)行了70000次訓(xùn)練迭代，大約耗時(shí)3天。

4 Conclusion

我們引入了一種端到端的學(xué)習(xí)方法，可以半自動(dòng)和全自動(dòng)地從稀疏注釋中分割出3D體積。它為非洲爪蟾腎臟的高度可變結(jié)構(gòu)提供了準(zhǔn)確的分割。我們?cè)诎胱詣?dòng)設(shè)置的3折交叉驗(yàn)證實(shí)驗(yàn)中實(shí)現(xiàn)了0.863的平均IoU。在全自動(dòng)設(shè)置中，我們展示了3D架構(gòu)相對(duì)于等效2D實(shí)現(xiàn)的性能增益。該網(wǎng)絡(luò)是從頭開始訓(xùn)練的，并且沒有針對(duì)此應(yīng)用進(jìn)行任何優(yōu)化。我們預(yù)計(jì)它將適用于許多其他生物醫(yī)學(xué)體積分割任務(wù)。它的實(shí)現(xiàn)是作為開源提供的。