用于在超聲圖像中對(duì)毫米尺度機(jī)器人膠囊進(jìn)行2D姿態(tài)估計(jì)的方法

具有移動(dòng)能力和采樣機(jī)構(gòu)的可口服機(jī)器人膠囊在胃腸道無(wú)創(chuàng)診斷和介入治療方面具有巨大的潛力。實(shí)時(shí)跟蹤膠囊位置和運(yùn)行狀態(tài)對(duì)于臨床應(yīng)用是必要的，但這仍然是一個(gè)重大挑戰(zhàn)。

據(jù)麥姆斯咨詢報(bào)道，近日，加拿大多倫多大學(xué)（University of Toronto）和美國(guó)范德堡大學(xué)（Vanderbilt University）的研究人員組成的團(tuán)隊(duì)在Scientific Reports期刊上發(fā)表了題為“Capsule robot pose and mechanism state detection in ultrasound using attention-based hierarchical deep learning”的最新論文，提出了一種基于注意力的分層深度學(xué)習(xí)方法，以用于在超聲圖像中對(duì)毫米尺度機(jī)器人膠囊進(jìn)行2D姿態(tài)估計(jì)和機(jī)構(gòu)狀態(tài)檢測(cè)。實(shí)驗(yàn)結(jié)果表明，膠囊狀態(tài)分類的準(zhǔn)確率為97%，方位和質(zhì)心位置的平均估計(jì)誤差為2.0°和0.24mm（膠囊體長(zhǎng)的1.7%）。提出的方法有望推進(jìn)無(wú)線膠囊機(jī)器人技術(shù)的發(fā)展。

無(wú)線膠囊機(jī)器人在靶向給藥、活檢取樣和胃腸道（GI）局部診斷等任務(wù)中顯示出巨大的潛力。盡管內(nèi)窺鏡手術(shù)通常被用于胃腸道的診斷和治療，但內(nèi)窺鏡檢查需要麻醉，并存在腸道破裂的風(fēng)險(xiǎn)?；谖?chuàng)膠囊機(jī)器人的技術(shù)有望替代內(nèi)窺鏡。對(duì)于使用無(wú)線膠囊機(jī)器人進(jìn)行活檢或靶向治療等手術(shù)，需要準(zhǔn)確和實(shí)時(shí)地跟蹤膠囊位置和運(yùn)行狀態(tài)。

磁定位技術(shù)作為一種用于無(wú)線膠囊內(nèi)窺鏡（WCE）姿態(tài)估計(jì)的無(wú)遮擋跟蹤方案已被廣泛研究。典型的配置是將一個(gè)或多個(gè)小永磁體封裝在膠囊中，并使用外部傳感器根據(jù)感測(cè)到的磁場(chǎng)數(shù)據(jù)確定膠囊的姿態(tài)?，F(xiàn)有方法以高定位精度實(shí)現(xiàn)了實(shí)時(shí)精度，但是由于執(zhí)行器對(duì)定位系統(tǒng)的干擾，因此無(wú)法實(shí)現(xiàn)對(duì)膠囊的同步磁驅(qū)動(dòng)。

為了解決這個(gè)問(wèn)題，研究人員已經(jīng)提出了一種約束在3 x 3平面內(nèi)的線圈系統(tǒng)，以最小化執(zhí)行器對(duì)傳感器的影響。Y. Xu等實(shí)現(xiàn)了WCE的同步磁驅(qū)動(dòng)和定位，并通過(guò)使用積分濾波器消除了磁干擾。然而，這種系統(tǒng)受限于相對(duì)較低的姿態(tài)更新頻率（約0.5~1.0Hz）。此外，磁跟蹤無(wú)法對(duì)胃腸道生理學(xué)方面進(jìn)行定位，而這對(duì)于許多應(yīng)用（例如靶向取樣、活檢或治療遞送等）來(lái)說(shuō)是必需的。超聲引導(dǎo)的膠囊機(jī)器人將通過(guò)使用安全、無(wú)創(chuàng)成像模式跟蹤膠囊來(lái)解決這些障礙，該成像模式還有潛力定位膠囊的胃腸道位置。

與磁共振成像（MRI）和X射線等其他醫(yī)學(xué)成像技術(shù)相比，超聲成像技術(shù)因其結(jié)合了高時(shí)間分辨率和無(wú)電離輻射成像，成本較低，且更容易實(shí)現(xiàn)，因此受到人們青睞。盡管超聲成像已在許多臨床應(yīng)用中使用，但使用GI超聲成像膠囊仍存在一些挑戰(zhàn)。胃腸道由5個(gè)管狀組織層組成，這些組織層是交替產(chǎn)生回聲和消聲的材料，在超聲B模式掃描中表現(xiàn)為亮層和暗層。此外，胃腸道內(nèi)部充滿了空氣、水和消化物質(zhì)的混合物，這在超聲B模式圖像中表現(xiàn)為許多斑點(diǎn)和明暗對(duì)比的區(qū)域。在這種環(huán)境下，膠囊機(jī)器人的精確檢測(cè)和跟蹤是非常具有挑戰(zhàn)性的。

雖然超聲成像被熟練的超聲醫(yī)師手動(dòng)使用作為診斷工具，但仍需要對(duì)膠囊機(jī)器人進(jìn)行基于計(jì)算機(jī)的自動(dòng)跟蹤，因?yàn)椋?）具有移動(dòng)或機(jī)構(gòu)驅(qū)動(dòng)能力的膠囊機(jī)器人必須同時(shí)被跟蹤和控制，這對(duì)操作員來(lái)說(shuō)是一個(gè)重大的挑戰(zhàn)，因?yàn)檫@要求操作員對(duì)膠囊和超聲系統(tǒng)的動(dòng)力學(xué)和操縱具有良好的了解；以及（2）在B模式圖像中，通過(guò)手動(dòng)從背景組織中識(shí)別設(shè)備和膠囊機(jī)載機(jī)構(gòu)狀態(tài)來(lái)進(jìn)行精確的圖像判讀是特別困難的。研究人員提出了一種自動(dòng)檢測(cè)方法用于幫助臨床醫(yī)生進(jìn)行膠囊操縱，可在無(wú)需超聲醫(yī)師持續(xù)關(guān)注的情況下進(jìn)行膠囊跟蹤，并提供更標(biāo)準(zhǔn)化的反饋。這種自動(dòng)跟蹤將使臨床醫(yī)生通過(guò)解剖工作空間指定的路徑實(shí)現(xiàn)完全閉環(huán)控制。

在本論文中，作者們提出了一種基于注意力的分層深度學(xué)習(xí)方法，并在非醫(yī)學(xué)數(shù)據(jù)集上采用訓(xùn)練有素的CNN模型，以在離體豬胃腸道中使用超聲成像對(duì)毫米級(jí)機(jī)器人膠囊進(jìn)行2D姿態(tài)估計(jì)和機(jī)構(gòu)狀態(tài)檢測(cè)。該膠囊機(jī)器人由封裝在軟彈性體樣品室中的兩個(gè)永磁體構(gòu)成。它具有一個(gè)磁力驅(qū)動(dòng)的取樣機(jī)構(gòu)，當(dāng)被施加磁場(chǎng)時(shí)，該機(jī)構(gòu)會(huì)使膠囊打開(kāi)以進(jìn)行取樣或治療給藥。膠囊的直徑和長(zhǎng)度分別設(shè)計(jì)為8mm和14.5mm。在臨床使用期間，膠囊在口服給藥后通過(guò)胃腸道，并在移動(dòng)期間保持關(guān)閉，只有在到達(dá)目標(biāo)位置時(shí)才被激活以打開(kāi)進(jìn)行取樣或藥物釋放。最后，膠囊可以通過(guò)常規(guī)的糞便通道取回。

他們考慮了膠囊機(jī)器人的三種可能的機(jī)構(gòu)狀態(tài)：閉合、打開(kāi)和消失在視場(chǎng)（FOV）中（由于周圍組織引起的離面運(yùn)動(dòng)或閉塞），如圖1b–d所示。膠囊機(jī)器人在超聲圖像坐標(biāo)系U中的2D姿態(tài)定義為（xU，yU，θU），超聲成像平面內(nèi)的質(zhì)心位置和方向如圖1b所示。

圖1 膠囊機(jī)器人的三種可能的機(jī)構(gòu)狀態(tài)

為了訓(xùn)練神經(jīng)網(wǎng)絡(luò)，他們?cè)陔x體豬胃內(nèi)生成了機(jī)器人膠囊的代表性數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表明，在測(cè)試集上，膠囊狀態(tài)分類的準(zhǔn)確率為97%，方位和質(zhì)心位置的平均估計(jì)誤差為2.0°和0.24mm（膠囊體長(zhǎng)的1.7%）。在豬胃和結(jié)腸中通過(guò)外部磁體操縱膠囊機(jī)器人時(shí)，對(duì)膠囊的精確檢測(cè)也得到了證實(shí)。結(jié)果表明，通過(guò)在臨床場(chǎng)景中提供膠囊機(jī)器人的精確檢測(cè)，提出的方法有望推進(jìn)無(wú)線膠囊機(jī)器人技術(shù)的發(fā)展。

圖2 離體豬胃實(shí)驗(yàn)設(shè)置

圖3 膠囊機(jī)器人的離體姿態(tài)估計(jì)和機(jī)構(gòu)狀態(tài)檢測(cè)結(jié)果

本論文研究工作的主要貢獻(xiàn)包括：

（1）這項(xiàng)研究工作演示了在離體豬胃腸道超聲B模式成像下對(duì)無(wú)線膠囊機(jī)器人的姿態(tài)和運(yùn)行狀態(tài)的檢測(cè)。這允許將超聲引導(dǎo)的臨床手術(shù)整合到常規(guī)工作流程中，以協(xié)助臨床醫(yī)生使用膠囊機(jī)器人。

（2）這項(xiàng)研究工作提出了一種新的基于注意力的分層深度學(xué)習(xí)方法，以增強(qiáng)特征表示能力，并首次將在非醫(yī)學(xué)數(shù)據(jù)集上預(yù)訓(xùn)練的CNN模型應(yīng)用于目標(biāo)跟蹤任務(wù)的臨床數(shù)據(jù)集?；陔x體超聲圖像開(kāi)發(fā)的訓(xùn)練模型具有很大的臨床價(jià)值，可以作為超聲引導(dǎo)的醫(yī)療器械在體內(nèi)跟蹤的預(yù)訓(xùn)練模型。

（3）這項(xiàng)研究工作提供了一個(gè)在離體臨床相關(guān)環(huán)境中的超聲圖像的大型標(biāo)記數(shù)據(jù)集，用于對(duì)微尺度膠囊機(jī)器人跟蹤算法的開(kāi)發(fā)進(jìn)行基準(zhǔn)測(cè)試。

審核編輯：劉清