膠囊機器人是如何完成深度學習與算法訓練的？

一顆膠囊大小的胃腸道內(nèi)窺鏡機器人，被服下后，通過體外磁控的方式實現(xiàn)在消化道中的運動，途經(jīng)食道、胃部、腸部，最后被人體排出。這個過程中，電腦可以同步顯示胃腸道的相關檢測數(shù)據(jù)，從而讓醫(yī)生有依據(jù)地完成診斷。

（圖片來源：2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)）

聽起來好像很簡單，而實際上膠囊機器人在投入使用前，必須先經(jīng)過深度學習和訓練。就像游戲玩家出發(fā)去升級打怪需要游戲裝備和地圖一樣，膠囊機器人需要通過深度學習技術(shù)改善密集地形重建和姿態(tài)估計算法，以及通過SLAM（ Simultaneous Localization and Mapping）同步定位與地圖構(gòu)建的機器視覺技術(shù)實現(xiàn)檢測、識別能力。

通俗一點講，機器人不是人，它的視覺和決策能力，都需要研制者通過一些方法賦予給它。通過深度學習獲得的能力相當于膠囊機器人的大腦，而通過SLAM機器視覺獲得的就相當于膠囊機器人的“火眼金睛”。

2000年，以色列研制的第一個膠囊內(nèi)鏡獲得FDA批準進入臨床，當時的膠囊機器人是隨消化道的自然蠕動而前進的，由于沒有經(jīng)過深度學習訓練，也沒有SLAM技術(shù)的加持，有點像盲人摸象，對于像胃這樣大的消化道器官，其觀察范圍十分有限，因此會造成相當大的漏檢。

土耳其伊斯坦布爾的Bogazici大學的生物醫(yī)學工程專業(yè)，有一個專業(yè)的生物醫(yī)學實驗室，其研究領域包括生物醫(yī)學儀器、生物電子學、生物力學、神經(jīng)信號分析、生物光子學、醫(yī)學成像、細胞成像和電生理學、機器人技術(shù)、醫(yī)療設備設計和測試，以及心理物理學等。

2020年，該實驗室的Mehmet Turan博士，通過TUBI TAK2232國際杰出研究人員研究金方案獲得了資金支持，開展了一項名為“磁性驅(qū)動的Al-Powered內(nèi)窺鏡膠囊機器人用于靶向藥物傳遞和多活檢操作”的研究項目。該項目旨在利用人工智能的最新進展，在無線膠囊內(nèi)窺鏡（WCE）機器人的機電一體化設計、遠程磁控以及定位和映射算法方面進行重大的科技創(chuàng)新。

在該項目中，研究人員基于1個膠囊內(nèi)鏡圖像的基礎SLAM數(shù)據(jù)集，1只Panda機械臂，1臺EinScan Pro 2X（先臨三維品牌的3D掃描儀），2個具有不同相機特性的商用膠囊機器人，對體外豬胃腸道的數(shù)據(jù)進行了采集，并完成了算法測試和膠囊機器人的深度學習與訓練。

研究人員把器官固定在六個支架上，創(chuàng)造出L形、Z形和O形三種胃腸道形態(tài)，以模擬通過升結(jié)腸到橫結(jié)腸的GI-牽引路徑。EinScan Pro 2X的功能就是3D掃描獲取這六個器官形態(tài)的點云數(shù)據(jù)。所收集的數(shù)據(jù)結(jié)果，需要滿足兩點：使SLAM數(shù)據(jù)集適合于遷移學習；此外，還可以對同一器官類型的具有不同紋理細節(jié)的組織進行算法性能測試。

由于被掃描的物體本身明暗多變，柔軟易變形，一開始并不順利。先臨三維的技術(shù)人員在了解項目情況后，為研究人員及時提供了3D掃描儀的操作指導，包括如何通過亮度調(diào)整應對明暗變化，如何使用標志點輔助數(shù)據(jù)高精度拼接，選擇哪一種無毒無害的醫(yī)用顯影劑可以幫助進一步改善數(shù)據(jù)細節(jié)，以及面對不同的情況如何選擇合適的掃描模式。

最終，我們很高興地看到，研究人員如愿以償獲取到了六組高精細的3D數(shù)據(jù)，如實記錄了器官所有結(jié)構(gòu)、角落和深度。

然后，原始點云數(shù)據(jù)被進一步編輯，得到了色譜圖。

這些數(shù)據(jù)都被用于膠囊機器人的深度學習和算法訓練。Bogazici大學的研究人員使用膠囊內(nèi)鏡圖像的基礎SLAM數(shù)據(jù)集作為輸入，然后利用此次3D掃描獲取的三維模型在SLAM數(shù)據(jù)集中確定定位。

研究組的Mehmet Turan博士說：“在以前的一個研究項目中，我使用過另一個品牌的3D掃描儀。那款3D掃描儀也很好，但是與EinScan Pro 2X相比，在分辨率和點精度上存在技術(shù)差異。點精度是我們此次項目實現(xiàn)深度學習過程的最重要因素之一，這就是為什么團隊最終決定依靠EinScan Pro 2X的能力來完成這個項目的原因?！?/p>