***勤益科技大學(xué)與秀傳醫(yī)院合作形成的研發(fā)團(tuán)隊(duì)發(fā)表成果展示稱,其研發(fā)出的“MR+VR智能醫(yī)療眼鏡”,在MR混合虛擬現(xiàn)實(shí)眼鏡的基礎(chǔ)上,結(jié)合VR虛擬現(xiàn)實(shí)和data gloves數(shù)據(jù)手套等技術(shù)可讓遠(yuǎn)程端的醫(yī)生實(shí)時(shí)指導(dǎo)災(zāi)難現(xiàn)場(chǎng)人員對(duì)傷患做手術(shù)或?qū)嵤┘本?。目前已完成兩例臨床實(shí)測(cè),接下來將逐步進(jìn)入應(yīng)用測(cè)試和量產(chǎn)階段。
可見,VR/AR/MR技術(shù)不只在娛樂領(lǐng)域有巨大潛力,在醫(yī)療領(lǐng)域同樣有廣闊空間。特別在醫(yī)療培訓(xùn)、臨床診療、醫(yī)學(xué)干預(yù)、遠(yuǎn)程醫(yī)療等方面具有一定的優(yōu)勢(shì),但是目前由于軟硬件平臺(tái)限制,VR醫(yī)療解決方案離臨床應(yīng)用還有一段距離。
?
?
與歐美國家有一定差距
歐美國家很早就開始探索VR/AR/MR+醫(yī)療,一方面是因?yàn)闅W美國家用于醫(yī)學(xué)解剖的尸體非常稀少,另一方面他們對(duì)動(dòng)物也有相應(yīng)的法律保護(hù),醫(yī)生也不能用動(dòng)物進(jìn)行練習(xí)。曾在歐美高校游學(xué)多年的北京航空航天大學(xué)教授潘俊君說,如果利用傳統(tǒng)手術(shù)觀摩的辦法,周期長(zhǎng),效率很低,所以西方國家醫(yī)療領(lǐng)域?qū)μ摂M現(xiàn)實(shí)技術(shù)有硬需求。而且從歐美國家的大學(xué)、研究機(jī)構(gòu)、企業(yè)的一些案例也可以看出他們對(duì)VR/AR/MR+醫(yī)療十分重視。
美國德克薩斯大學(xué)的研究人員用虛擬環(huán)境幫助年輕的自閉癥患者練習(xí)社交技能,比如面試、相親或與新鄰居見面等等。VR練習(xí)可以幫助這些年輕人理解社交暗示,明白人們的弦外之音,并且以符合社交慣例的方式表達(dá)自己的意見。而硅谷初創(chuàng)公司Limbix推出了一項(xiàng)新服務(wù):利用搭配智能手機(jī)使用的Daydream View提供暴露療法。
美國加州健康科學(xué)西部大學(xué)的虛擬現(xiàn)實(shí)中心有zSpace顯示屏、Anatomage虛擬解剖臺(tái)、在Oculus Rift和iPad上的斯坦福大學(xué)解剖模型,旨在幫助學(xué)生利用VR學(xué)習(xí)牙科、骨科、獸醫(yī)、物理治療和護(hù)理等知識(shí)。同樣,德國漢堡Eppendorf大學(xué)醫(yī)學(xué)院醫(yī)用數(shù)學(xué)和計(jì)算機(jī)研究所建立了一個(gè)名為VOXEL—MAN的虛擬人體系統(tǒng),它包括人體每一種解剖結(jié)構(gòu)的三維模型,肌肉、骨骼、血管及神經(jīng)等任一部分都是三維可視的,使用者戴上頭盔顯示器就可以模擬解剖過程。
紐約市威爾康奈爾醫(yī)學(xué)中心的研究人員已經(jīng)開始使用VR技術(shù),來更好地理解癌癥基因突變的狀況了。他們?yōu)镺culus頭盔開發(fā)了一個(gè)新的程序,讓用戶看到并與微觀蛋白質(zhì)的3D模型進(jìn)行交互。
瑞典各大醫(yī)學(xué)培訓(xùn)中心及醫(yī)院已經(jīng)運(yùn)用“模擬嬰兒”、“模擬孕婦”等一系列的VR產(chǎn)品,讓醫(yī)生在更逼真的虛擬環(huán)境中進(jìn)行學(xué)習(xí),減少了傳統(tǒng)手術(shù)環(huán)節(jié)中對(duì)動(dòng)物的傷害。
2014年,墨爾本的一家叫Small World的公司進(jìn)行了一場(chǎng)通過給孕婦佩戴Google Glass并使用Google Glass上的攝像頭來遠(yuǎn)程進(jìn)行母乳喂養(yǎng)的指導(dǎo)的實(shí)驗(yàn);Augmedix利用谷歌眼鏡顯示收集到的病人的數(shù)據(jù)和參考信息,幫助醫(yī)生更好的和患者進(jìn)行交流;3D4Medical的醫(yī)療軟件平臺(tái),提供人體解剖、人體器官模型、血液關(guān)節(jié)等醫(yī)學(xué)信息,以增強(qiáng)現(xiàn)實(shí)的方式提供醫(yī)學(xué)教學(xué)。
而國內(nèi)虛擬現(xiàn)實(shí)技術(shù)在醫(yī)療領(lǐng)域并非不可替代,大部分醫(yī)學(xué)院學(xué)生或者醫(yī)生不缺練手的素材,他們可以用活豬等動(dòng)物進(jìn)行練習(xí),所以目前國內(nèi)VR+醫(yī)療與歐美國家有一定的差距。但是隨著虛擬現(xiàn)實(shí)技術(shù)的逐漸成熟,國內(nèi)高校、醫(yī)院和企業(yè)也在積極推動(dòng)VR+醫(yī)療領(lǐng)域的發(fā)展,其中有些技術(shù)或者應(yīng)用也取得了一定的突破。
北京航空航天大學(xué)成功研發(fā)出我國具有自主知識(shí)產(chǎn)權(quán)的虛擬腹腔鏡手術(shù)訓(xùn)練系統(tǒng)Lap-Sim和經(jīng)皮冠狀動(dòng)脈成形術(shù)模擬器,后者可滿足個(gè)性化手術(shù)規(guī)劃、預(yù)演、新手術(shù)實(shí)驗(yàn)等臨床應(yīng)用需求。目前,該P(yáng)CI模擬器中已經(jīng)集成了多套個(gè)性化病例數(shù)據(jù),并在北京協(xié)和醫(yī)院、第三軍醫(yī)大學(xué)進(jìn)行了多輪次的測(cè)試驗(yàn)證和應(yīng)用示范。同時(shí),北京航空航天大學(xué)、上海交通大學(xué)、第三軍醫(yī)大學(xué)等還開發(fā)出了具有力反饋的心血管介入虛擬手術(shù)系統(tǒng)。
四川大學(xué)華西基礎(chǔ)醫(yī)學(xué)與法醫(yī)學(xué)院便利用了新新科技虛擬現(xiàn)實(shí)技術(shù),研發(fā)出一款《人衛(wèi)3D系統(tǒng)解剖學(xué)》VR版,讓學(xué)生帶上VR頭盔就能夠看到全方位立體展示的人體結(jié)構(gòu)。
上海交通大學(xué)計(jì)算機(jī)科學(xué)與工程系與嘉奧科技共建“智能醫(yī)療與虛擬現(xiàn)實(shí)聯(lián)合研究中心”,該中心主要研究方向?yàn)樘摂M現(xiàn)實(shí)與深度學(xué)習(xí),其研究領(lǐng)域包括三維圖像處理與分析、醫(yī)學(xué)影像數(shù)據(jù)數(shù)字化、實(shí)時(shí)動(dòng)態(tài)三維模擬及人工智能應(yīng)用等。
去年11月,中國首個(gè)“虛擬現(xiàn)實(shí)醫(yī)院計(jì)劃”正式啟動(dòng)?!疤摂M現(xiàn)實(shí)醫(yī)院計(jì)劃”將采用VR/AR/MR、全息投影、人機(jī)接口、神經(jīng)解碼編碼等技術(shù),促進(jìn)醫(yī)、教、研、產(chǎn)一體化,提出未來新醫(yī)療全套解決方案。截至目前,已經(jīng)有10多家醫(yī)院加入該計(jì)劃。
廣州市正骨醫(yī)院已經(jīng)發(fā)布全球第一臺(tái)VR+3D外科手術(shù)視頻,并完成了中醫(yī)史上首次正骨手法教學(xué)視頻。
海信研發(fā)出海信精準(zhǔn)數(shù)字化手術(shù)室系統(tǒng),可以將患者肝臟的CT數(shù)據(jù)變成三維的數(shù)字肝臟,有助于醫(yī)生在術(shù)前更精確全方位評(píng)估、規(guī)劃和設(shè)計(jì)手術(shù)方案,術(shù)中無需接觸電腦就可以用手勢(shì)遙控操作手術(shù)導(dǎo)航,使復(fù)雜的手術(shù)更精準(zhǔn)。目前這套系統(tǒng)已在長(zhǎng)庚醫(yī)院、復(fù)旦大學(xué)附屬兒科醫(yī)院等全國30多家三甲醫(yī)院臨床使用,完成手術(shù)已達(dá)1000余例。
IEEE高級(jí)會(huì)員、上海交通大學(xué)楊小康教授認(rèn)為,目前來看,雖然歐美的VR/AR+醫(yī)療的水平是要強(qiáng)于國內(nèi)的,也有許多的世界領(lǐng)先的成果,但是總的來說,VR/AR+醫(yī)療還處于起步階段,無論是學(xué)術(shù)上的研究或是商業(yè)產(chǎn)業(yè)鏈都有很多欠缺,還有很長(zhǎng)的路要走。
VR可解決醫(yī)療四大痛點(diǎn)
從國內(nèi)外的案例可以看出,虛擬現(xiàn)實(shí)技術(shù)在醫(yī)療培訓(xùn)、臨床診療、醫(yī)學(xué)干預(yù)、遠(yuǎn)程醫(yī)療等方面都有一定的應(yīng)用空間。
在醫(yī)療培訓(xùn)方面,虛擬現(xiàn)實(shí)技術(shù)可以突破實(shí)驗(yàn)設(shè)備、實(shí)驗(yàn)場(chǎng)地和經(jīng)費(fèi)等物理方面的局限性,讓更多的醫(yī)學(xué)院學(xué)生或者醫(yī)生可以沉浸在虛擬現(xiàn)實(shí)環(huán)境中進(jìn)行訓(xùn)練并學(xué)習(xí)新技術(shù),加深對(duì)訓(xùn)練內(nèi)容的理解。潘俊君指出,虛擬現(xiàn)實(shí)技術(shù)給醫(yī)生從無到有地制造了一個(gè)完全真實(shí)的體驗(yàn)經(jīng)歷,剛剛走出醫(yī)學(xué)院校門的新手,借助虛擬手術(shù)系統(tǒng)可以成為經(jīng)驗(yàn)豐富的外科手術(shù)高手。而且利用虛擬現(xiàn)實(shí)技術(shù),同樣的病例和場(chǎng)景可被重復(fù)使用,可以節(jié)省資源。國內(nèi)醫(yī)生一般用活豬練手,成本很高,如果用手術(shù)模擬器練習(xí)可以大幅度降低手術(shù)成本。
中國醫(yī)科大學(xué)教授婁巖認(rèn)為,VR能夠避免真實(shí)情境帶來的各種危險(xiǎn),例如麻醉學(xué)、急救醫(yī)學(xué)和戰(zhàn)地醫(yī)學(xué)等相關(guān)學(xué)科臨床技能訓(xùn)練時(shí)。
在術(shù)前規(guī)劃及術(shù)中輔助方面,虛擬現(xiàn)實(shí)技術(shù)同樣可以發(fā)揮重要的作用。利用虛擬手術(shù)系統(tǒng),醫(yī)生對(duì)病變?nèi)睋p部位進(jìn)行較精確的前期測(cè)量和估算,從而預(yù)見手術(shù)的復(fù)雜性和風(fēng)險(xiǎn)點(diǎn)。潘俊君表示,運(yùn)用增強(qiáng)現(xiàn)實(shí)技術(shù)可以使醫(yī)務(wù)工作者沉浸于虛擬的場(chǎng)景內(nèi),通過視、聽、觸覺感知,學(xué)習(xí)各種手術(shù)實(shí)際操作,體驗(yàn)如何應(yīng)付臨床手術(shù)中的各類突發(fā)情況。
婁巖認(rèn)為,VR技術(shù)可以在醫(yī)患溝通中,讓患者及家屬更直觀、更好地理解手術(shù)方案,獲得充分的知情和選擇的權(quán)利,增進(jìn)醫(yī)患雙方的理解,減少醫(yī)患矛盾。
在醫(yī)學(xué)干預(yù)方面,VR技術(shù)適用于精神疾病干預(yù)和康復(fù)醫(yī)療干預(yù)。亞特蘭大艾墨立大學(xué)醫(yī)學(xué)院(Emory University School of Medicine)芭芭拉·羅特鮑姆(Barbara Rothbaum)幫助開拓了虛擬現(xiàn)實(shí)技術(shù)在心理學(xué)領(lǐng)域的實(shí)踐應(yīng)用。她幫助開展的一項(xiàng)臨床試驗(yàn)顯示,在治療病人對(duì)飛行的恐懼時(shí),虛擬現(xiàn)實(shí)技術(shù)讓90%%的病人最終克服了焦慮癥狀。
在遠(yuǎn)程醫(yī)療方面,利用虛擬現(xiàn)實(shí)技術(shù)和互聯(lián)網(wǎng)能夠跨越地域的界限,平衡不同地方醫(yī)生資源不匹配的現(xiàn)狀。***勤益科技大學(xué)與秀傳醫(yī)院合作形成的研發(fā)團(tuán)隊(duì)負(fù)責(zé)人李佩淵指出,他們最新推出的智能醫(yī)療眼鏡不僅能讓手術(shù)更精準(zhǔn),也能用于醫(yī)療資源不足的重災(zāi)地區(qū),不論是恐怖攻擊、戰(zhàn)場(chǎng)還是地震重災(zāi)區(qū),即便現(xiàn)場(chǎng)沒有醫(yī)護(hù)人員,醫(yī)師也能利用眼鏡實(shí)施遠(yuǎn)程指導(dǎo)。
例如在偏遠(yuǎn)的山區(qū),通過遠(yuǎn)程醫(yī)療虛擬現(xiàn)實(shí)系統(tǒng),患者不進(jìn)城也能夠接受名醫(yī)的治療。婁巖強(qiáng)調(diào),對(duì)于危急病人,還可以實(shí)施遠(yuǎn)程手術(shù)。這時(shí)醫(yī)生只要對(duì)病人模型進(jìn)行手術(shù),他的動(dòng)作就可以通過衛(wèi)星傳送給遠(yuǎn)處的手術(shù)機(jī)器人。手術(shù)的實(shí)際圖像通過機(jī)器人上的攝像機(jī)還能夠傳回到醫(yī)生的頭盔立體顯示器,并將其和虛擬病人模型進(jìn)行疊加,為醫(yī)生提供有用的信息。
但是由于VR和AR技術(shù)特性不同,在醫(yī)療領(lǐng)域應(yīng)用時(shí)又存在差異。IEEE高級(jí)會(huì)員袁昱博士認(rèn)為,VR致力于提供完全沉浸式的虛擬體驗(yàn),而AR是在現(xiàn)實(shí)世界中疊加虛擬對(duì)象。具體到醫(yī)療行業(yè)的應(yīng)用上,在心理診療和功能康復(fù)診療方面主要用到VR,手術(shù)導(dǎo)航主要用到AR,而遠(yuǎn)程醫(yī)療在現(xiàn)場(chǎng)接受遠(yuǎn)程指導(dǎo)的主要用到AR,在遠(yuǎn)程提供指導(dǎo)或遙控操作的主要用到VR。楊小康也指出,在醫(yī)療教育領(lǐng)域,VR和AR有著異曲同工之妙,唯一的不同可能就是AR可以學(xué)習(xí)的同時(shí),實(shí)時(shí)操作,而VR的觀看效果可能更好一些。
如何解開VR+醫(yī)療死結(jié)?
VR+醫(yī)療看似美好,能給醫(yī)療帶來便利,但是虛擬現(xiàn)實(shí)技術(shù)與醫(yī)療領(lǐng)域結(jié)合的過程中會(huì)遇到像硬件平臺(tái)不成熟、算法不夠準(zhǔn)確、交互不夠精確等難題,而且即使做出產(chǎn)品,在應(yīng)用推廣階段同樣會(huì)碰壁,因?yàn)榛ヂ?lián)網(wǎng)公司做出的產(chǎn)品不一定符合醫(yī)生和病人的需求,所以現(xiàn)在VR+醫(yī)療需要技術(shù)人員與醫(yī)生共同研發(fā),才能做出真正的產(chǎn)品。
VR/AR+醫(yī)療發(fā)展比較滯后,一方面,VR/AR+醫(yī)療目前相關(guān)理論研究和學(xué)術(shù)研究還較少,成熟的成果也較少,使得人們對(duì)其認(rèn)可度暫時(shí)受到制約。另一方面,VR/AR缺乏核心應(yīng)用,使得VR/AR目前難以進(jìn)入所有人的視野,也少有人知道VR/AR+醫(yī)療的意義,而VR/AR+醫(yī)療技術(shù)的普及的前提是VR/AR的普及。袁昱認(rèn)為,VR/AR的支撐技術(shù)本身還遠(yuǎn)不夠成熟,有待進(jìn)一步發(fā)展和突破,尚未攻克的許多難點(diǎn)自然也會(huì)影響到在醫(yī)療行業(yè)的應(yīng)用。例如,在真實(shí)物體的建模與仿真上的技術(shù)局限性就導(dǎo)致AR手術(shù)導(dǎo)航還不能很好地用于肝、腎等軟體器官的手術(shù)。
而且VR+醫(yī)療與心理學(xué)、醫(yī)學(xué)等學(xué)科息息相關(guān),如何促進(jìn)有效的合作、制作合適的內(nèi)容也是一個(gè)難點(diǎn)。海信計(jì)算機(jī)輔助手術(shù)系統(tǒng)(Hisense CAS)研發(fā)過程就是一個(gè)例子,海信工程師們白天做研發(fā),晚上和外科醫(yī)生們做動(dòng)物實(shí)驗(yàn),并不斷根據(jù)DICOM數(shù)據(jù)不斷設(shè)定相關(guān)參數(shù)并優(yōu)化算法,讓系統(tǒng)可以自動(dòng)精確地在一系列CT圖像上分割出肝臟、血管、腫瘤、膽囊等肝臟各組織。
潘俊君指出,手術(shù)模擬器的觸感是難點(diǎn),因?yàn)樗鼛в辛Ψ答?,怎么能讓它的力反饋和真?shí)的手術(shù)反饋盡量一致、逼真十分困難,這需要工程師和醫(yī)生反復(fù)交流、迭代、嘗試才能調(diào)整出來。
在應(yīng)用推廣階段同樣存在硬件平臺(tái)不成熟、產(chǎn)品與應(yīng)用場(chǎng)景脫節(jié)、市場(chǎng)待教育等問題。實(shí)際上,醫(yī)院對(duì)虛擬現(xiàn)實(shí)醫(yī)療有一定的需求,VR在醫(yī)療培訓(xùn)、人體研究、康復(fù)、心理培訓(xùn)上有優(yōu)勢(shì),但是VR+醫(yī)療產(chǎn)品離臨床還有一段距離。
一方面是因?yàn)閂R+醫(yī)療研發(fā)團(tuán)隊(duì)與應(yīng)用場(chǎng)景脫節(jié),再加上硬件平臺(tái)技術(shù)不是非常成熟,導(dǎo)致產(chǎn)品體驗(yàn)不佳,離臨床還有差距。“虛擬現(xiàn)實(shí)醫(yī)院計(jì)劃”執(zhí)行總監(jiān)、廣州市正骨醫(yī)院萬磊博士后認(rèn)為,現(xiàn)在VR+醫(yī)療團(tuán)隊(duì)大多數(shù)想當(dāng)然,沒有和實(shí)際醫(yī)療場(chǎng)景相結(jié)合,不能滿足醫(yī)生和患者的需求。
另一方面是因?yàn)獒t(yī)療是傳統(tǒng)行業(yè),老醫(yī)生思想比較保守,在接受新技術(shù)上比較慢,VR+醫(yī)療產(chǎn)品少有人買單。而國外使用比較普遍是因?yàn)樗麄儗⑾嚓P(guān)產(chǎn)品和醫(yī)療培訓(xùn)證書相結(jié)合,有剛需,所以潘俊君認(rèn)為,如果要推廣VR+醫(yī)療應(yīng)用,需要國家相關(guān)政策的支持。
而且在法規(guī)方面,VR/AR本身是迭代很快的新興技術(shù),但醫(yī)療器械和方案往往需要經(jīng)過漫長(zhǎng)的各級(jí)認(rèn)證才能大規(guī)模推向市場(chǎng)。袁昱指出,如何在現(xiàn)行法規(guī)內(nèi),從轉(zhuǎn)化醫(yī)學(xué)等角度予以VR/AR+醫(yī)療產(chǎn)品在審批上最大的靈活性,乃至對(duì)現(xiàn)行法規(guī)作出合理的補(bǔ)充和調(diào)整以便在保證安全的前提下使新興技術(shù)能更快地用于臨床,都是值得探討的話題和努力的方向。
現(xiàn)在研發(fā)公司希望國家政策認(rèn)可通過VR+醫(yī)療產(chǎn)品來訓(xùn)練、考核并頒發(fā)證書,但是國家希望民間攻克技術(shù)難點(diǎn),推廣產(chǎn)品。潘俊君建議,國家可以立項(xiàng),鼓勵(lì)民間企業(yè)投入,這樣才能改變現(xiàn)狀。清華大學(xué)經(jīng)管虛擬現(xiàn)實(shí)及人工智能產(chǎn)業(yè)研究院主任研究員文鈞雷也指出,國家需要出臺(tái)鼓勵(lì)性政策,促進(jìn)企業(yè)和醫(yī)院聯(lián)合開發(fā)產(chǎn)品,加速VR+醫(yī)療土壤的形成,這樣既可以解決醫(yī)院付費(fèi)和招標(biāo)購買問題,促進(jìn)醫(yī)院和企業(yè)共同研發(fā)創(chuàng)新,同時(shí)也可以讓醫(yī)院和醫(yī)療研究機(jī)構(gòu)不斷推進(jìn)VR+醫(yī)療研發(fā)和應(yīng)用。
評(píng)論
查看更多