“聯(lián)邦學(xué)習(xí)”或?qū)⑼苿?dòng)AI在醫(yī)療行業(yè)加速落地？

AI正在各個(gè)行業(yè)掀起漸進(jìn)式的變革，醫(yī)療一直是其中的熱門領(lǐng)域，被業(yè)界認(rèn)為有可能盡快實(shí)現(xiàn)產(chǎn)業(yè)化。

AI+醫(yī)療的快速發(fā)展，離不開迅速增長(zhǎng)的醫(yī)學(xué)大數(shù)據(jù)規(guī)模、快速提升的算力和理論基礎(chǔ)的進(jìn)展。進(jìn)一步分析，從資本層面來(lái)看，AI+醫(yī)療有較好的投資盈利預(yù)期，受到了資本的追捧；從技術(shù)和人才角度來(lái)看，醫(yī)療AI的研究機(jī)構(gòu)眾多，包括科研單位、高校、大型企業(yè)、創(chuàng)業(yè)企業(yè)等，造就了一大批奮戰(zhàn)在一線的科研機(jī)構(gòu)，相應(yīng)的技術(shù)和人才水平較高；具體到細(xì)分應(yīng)用，特別是在醫(yī)學(xué)圖像識(shí)別領(lǐng)域，擁有豐富的技術(shù)和設(shè)備等資源。

醫(yī)療影像面臨的數(shù)據(jù)挑戰(zhàn)

AI在醫(yī)療產(chǎn)業(yè)的發(fā)展，最初是數(shù)據(jù)收集，主要是通過(guò)多種工具或設(shè)備來(lái)收集人體的健康數(shù)據(jù)，醫(yī)療影像是其中之一，也是迄今為止AI在醫(yī)療行業(yè)落地最為成熟的應(yīng)用之一。隨著醫(yī)療信息化和生物技術(shù)不斷地發(fā)展，醫(yī)療數(shù)據(jù)的類型和規(guī)模正以前所未有的速度快速增長(zhǎng)。

在醫(yī)療AI領(lǐng)域，獲取高質(zhì)量的醫(yī)學(xué)影像數(shù)據(jù)難度較大。一方面來(lái)自于醫(yī)學(xué)影像數(shù)據(jù)前處理和標(biāo)注所需的投入，占據(jù)了開發(fā)成本的絕大部分，工作量巨大；其次，隨著現(xiàn)代醫(yī)學(xué)影像技術(shù)的發(fā)展，醫(yī)學(xué)影像數(shù)據(jù)的產(chǎn)生技術(shù)也變得越來(lái)越復(fù)雜，客觀上加大了數(shù)據(jù)的獲取和使用難度；同時(shí)，由于醫(yī)學(xué)影像數(shù)據(jù)絕對(duì)的私密性，數(shù)據(jù)的擁有方采取高度保護(hù)措施，也加大了AI研發(fā)機(jī)構(gòu)獲取數(shù)據(jù)的難度。

只有獲取更多的數(shù)據(jù)進(jìn)行訓(xùn)練，AI模型才能更強(qiáng)健。而眼下這些現(xiàn)狀，顯然有礙于深度學(xué)習(xí)理論下AI模型的進(jìn)展。

“聯(lián)邦學(xué)習(xí)”——打破數(shù)據(jù)壁壘，保護(hù)隱私數(shù)據(jù)

日前，在全球高端的醫(yī)學(xué)影像會(huì)議MICCAI召開期間，NVIDIA攜手倫敦國(guó)王學(xué)院推出了用于醫(yī)學(xué)影像分析、且具有隱私保護(hù)能力的聯(lián)邦學(xué)習(xí)系統(tǒng)( federated learning system)。據(jù)了解，該實(shí)驗(yàn)基于取自BraTS 2018數(shù)據(jù)集的腦腫瘤分割數(shù)據(jù)而實(shí)施，包含了285位腦腫瘤患者的MRI掃描結(jié)果，采用了NVIDIA V100 Tensor Core GPU用于訓(xùn)練與推理。

NVIDIA醫(yī)療副總裁Kimberly Powell與NVIDIA資深研究科學(xué)家Nicola Rieke介紹了聯(lián)邦學(xué)習(xí)系統(tǒng)的技術(shù)細(xì)節(jié)、實(shí)施前景及研究背景。

聯(lián)邦學(xué)習(xí)(federated learning)是一種能夠讓開發(fā)者與各企業(yè)機(jī)構(gòu)利用分散在多個(gè)位置的訓(xùn)練數(shù)據(jù)，對(duì)中心深度神經(jīng)網(wǎng)絡(luò)（DNN）進(jìn)行訓(xùn)練的學(xué)習(xí)范式，該方法可以支持各企業(yè)機(jī)構(gòu)針對(duì)共享模型開展協(xié)作，而無(wú)需共享任何臨床數(shù)據(jù)。

NVIDIA最新發(fā)布的論文中，對(duì)這一數(shù)據(jù)訓(xùn)練方式表述為：“聯(lián)邦學(xué)習(xí)在無(wú)需共享患者數(shù)據(jù)的情況下，即可實(shí)現(xiàn)協(xié)作與分散化的神經(jīng)網(wǎng)絡(luò)訓(xùn)練。各節(jié)點(diǎn)負(fù)責(zé)訓(xùn)練其自身的本地模型，并定期提交給參數(shù)服務(wù)器。該服務(wù)器不斷累積并聚合各自的貢獻(xiàn)，進(jìn)而創(chuàng)建一個(gè)全局模型，分享給所有節(jié)點(diǎn)?！?br />
一言蔽之，“聯(lián)邦學(xué)習(xí)系統(tǒng)”最大的突破，在于它的運(yùn)行方式是——模型找數(shù)據(jù)，而非數(shù)據(jù)找模型。如下圖所示，最左邊的“全局AI模型”可以分散到各個(gè)醫(yī)院或研究中心，利用它們本地的數(shù)據(jù)進(jìn)行訓(xùn)練，之后再將訓(xùn)練后的模型回傳，而數(shù)據(jù)始終保存在本地。通過(guò)各個(gè)醫(yī)院、研究中心等機(jī)構(gòu)不斷地訓(xùn)練，“全局AI模型”不斷壯大，再分享給各個(gè)節(jié)點(diǎn)，實(shí)現(xiàn)了數(shù)據(jù)與模型訓(xùn)練的“雙贏”。

由于無(wú)需上傳病人的隱私數(shù)據(jù)，大大打消了數(shù)據(jù)擁有方對(duì)于隱私數(shù)據(jù)的顧慮。但是，這一系統(tǒng)是否足夠安全？有無(wú)被通過(guò)“反推”方式破解數(shù)據(jù)的風(fēng)險(xiǎn)？

Nicola Rieke對(duì)<電子發(fā)燒友>表示，通過(guò)模型反演、設(shè)法使數(shù)據(jù)重現(xiàn)的手段已在研究考量中，因?yàn)槿绻赖讓拥倪\(yùn)行邏輯，不排除會(huì)有一些反推手段。為了提高聯(lián)邦學(xué)習(xí)的安全性，研究人員試驗(yàn)了使用ε-差分隱私框架的可行性。該框架是一種正式定義隱私損失的方法，該方法可以借助其強(qiáng)大的隱私保障性來(lái)保護(hù)患者與機(jī)構(gòu)數(shù)據(jù)。據(jù)Nicola Rieke介紹，相當(dāng)于完成模型訓(xùn)練之后，加入“噪點(diǎn)”使數(shù)據(jù)變得模糊，改變了原有數(shù)據(jù)的顆粒度，使得反推更加困難。

“聯(lián)邦學(xué)習(xí)”VS.“集中化數(shù)據(jù)處理”

Kimberly Powell進(jìn)一步談到了聯(lián)邦學(xué)習(xí)系統(tǒng)的價(jià)值所在。她提到，在當(dāng)前很多AI的研究或項(xiàng)目中，大量的工作離不開“數(shù)據(jù)收集”，各個(gè)國(guó)家都在進(jìn)行相應(yīng)的工作。但是涉及跨國(guó)或是跨區(qū)域的合作，大家?guī)缀醪豢赡芄步ㄒ粋€(gè)數(shù)據(jù)池進(jìn)行分享，因此數(shù)據(jù)壁壘愈發(fā)凸顯。這時(shí)“聯(lián)邦學(xué)習(xí)系統(tǒng)”就能夠發(fā)揮作用了。

通過(guò)深度學(xué)習(xí)從數(shù)據(jù)中自動(dòng)提取知識(shí)，再運(yùn)用“聯(lián)邦學(xué)習(xí)”有效聚合各機(jī)構(gòu)從私有數(shù)據(jù)中本地習(xí)得的知識(shí)，能夠進(jìn)一步提高深度模型的準(zhǔn)確性、穩(wěn)健性與通用化能力。

與集中化的數(shù)據(jù)處理方式相比，聯(lián)邦學(xué)習(xí)所提供的方法可以在不共享機(jī)構(gòu)數(shù)據(jù)的情況下實(shí)現(xiàn)相當(dāng)大的分割性能。試驗(yàn)結(jié)果顯示，隱私保護(hù)與受訓(xùn)模型質(zhì)量之間產(chǎn)生了自然折中。而且，通過(guò)使用稀疏向量技術(shù)，聯(lián)邦學(xué)習(xí)系統(tǒng)可以實(shí)現(xiàn)嚴(yán)格隱私保護(hù)，且對(duì)模型性能僅產(chǎn)生合理的輕微影響。

另外就是集中化的數(shù)據(jù)處理方式，相當(dāng)于將數(shù)據(jù)量增加了一倍。例如1TB 的CT圖象，將它集中起來(lái)進(jìn)行訓(xùn)練，需要把這1TB數(shù)據(jù)進(jìn)行拷貝再做轉(zhuǎn)接傳輸，給整個(gè)系統(tǒng)增加了額外的數(shù)據(jù)負(fù)擔(dān)，對(duì)于系統(tǒng)的算力、存儲(chǔ)、帶寬都是更為嚴(yán)峻的考驗(yàn)。

目前什么樣的系統(tǒng)能夠采用“聯(lián)邦學(xué)習(xí)”？ Kimberly Powell表示，NVIDIA 的GPU硬件基本上對(duì)于每個(gè)服務(wù)器供應(yīng)商來(lái)說(shuō)都是可以使用的，入門級(jí)的投入1萬(wàn)美金即可。NVIDIA與美國(guó)放射科學(xué)會(huì)已經(jīng)共同打造了一個(gè)參考架構(gòu)，可以應(yīng)用到各個(gè)醫(yī)院中，如果僅是試用性的訓(xùn)練，用這個(gè)架構(gòu)的第一層就可以了。如果有相對(duì)高層級(jí)的需求，可能需要從頭去打造全新的算法應(yīng)用。

Kimberly Powell強(qiáng)調(diào)，“聯(lián)邦學(xué)習(xí)系統(tǒng)”是目前在醫(yī)療健康A(chǔ)I領(lǐng)域的突破性進(jìn)展，該研究為部署安全聯(lián)邦學(xué)習(xí)方面做出了巨大的推動(dòng)，并將廣泛推動(dòng)數(shù)據(jù)驅(qū)動(dòng)型精準(zhǔn)醫(yī)學(xué)的進(jìn)步。

崛起的醫(yī)療AI，進(jìn)擊的NVIDIA

根據(jù)公開數(shù)據(jù)，到2020年醫(yī)療數(shù)據(jù)量將達(dá)40萬(wàn)億GB，數(shù)據(jù)生成和共享的速度將迅速增長(zhǎng)，其中80%以上的數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)。面對(duì)如此迅速增長(zhǎng)的醫(yī)療數(shù)據(jù)量，不借助AI的提升很難進(jìn)行甄別和處理。

Kimberly Powell以2017年獲得諾獎(jiǎng)的一臺(tái)記錄人體蛋白質(zhì)數(shù)據(jù)的機(jī)器舉例，這臺(tái)機(jī)器可以在原子層面記錄人體的蛋白質(zhì)數(shù)據(jù)，這種新型的探測(cè)技術(shù)每天收集超過(guò)3T數(shù)據(jù)，可以用于很多醫(yī)療研究領(lǐng)域，例如基因組學(xué)等等。在接下來(lái)的幾年中，它所生成的數(shù)據(jù)會(huì)比Facebook、YouTube的數(shù)據(jù)總和還要多。想象一下全世界范圍之內(nèi)，所有的醫(yī)院、供應(yīng)商所產(chǎn)生的數(shù)據(jù)。

另一方面，就放射科而言，實(shí)際的醫(yī)生數(shù)量與需求之間并不匹配，存在著巨大的人員缺口，在美國(guó)這一缺口達(dá)到50%。Kimberly Powell稱，正因?yàn)槿绱?，需要將一些工作?shí)現(xiàn)自動(dòng)化，降低AI的應(yīng)用門檻。

她認(rèn)為，2018年是AI在放射科應(yīng)用的拐點(diǎn)，除了通過(guò)AI大幅降低成本，提升圖像質(zhì)量，真正將醫(yī)療工作與AI整合在了一起。例如CT設(shè)備通過(guò)AI實(shí)時(shí)算法縮短成像時(shí)間，生成更多更安全、準(zhǔn)確的實(shí)時(shí)圖像；以及探測(cè)顱內(nèi)出血的設(shè)備，可以根據(jù)實(shí)際情況及時(shí)幫助醫(yī)生根據(jù)工作優(yōu)先級(jí)調(diào)整工作流程等。

根據(jù)億歐智庫(kù)的研究顯示，國(guó)內(nèi)疾病風(fēng)險(xiǎn)預(yù)測(cè)、醫(yī)學(xué)影像場(chǎng)景下的公司數(shù)量最多，占醫(yī)療AI公司總數(shù)的一半以上，相關(guān)產(chǎn)品相對(duì)成熟。

也正是看到了AI在醫(yī)學(xué)影像領(lǐng)域的巨大潛力，NVIDIA不斷加大在這一細(xì)分領(lǐng)域的投入。今年春天，NVIDIA正式發(fā)布了Clara。和CUDA一樣，Clara的推出是NVIDIA在GPU易用性方面做出的又一努力。但不同于CUDA，Clara面向醫(yī)療領(lǐng)域的垂直細(xì)分應(yīng)用，從軟件層面幫助開發(fā)者在GPU平臺(tái)部署計(jì)算密集型醫(yī)療AI應(yīng)用程序。

由于標(biāo)記數(shù)據(jù)對(duì)于構(gòu)建安全可靠的AI至關(guān)重要，但放射科醫(yī)生無(wú)法花費(fèi)數(shù)小時(shí)來(lái)標(biāo)記數(shù)據(jù)集。因此Clara具備輔助注釋功能，可以加速結(jié)構(gòu)化數(shù)據(jù)集的創(chuàng)建，從而在幾分鐘內(nèi)完成注釋。

此外，Clara還具有遷移學(xué)習(xí)的功能，能夠?qū)σ延心Ｐ瓦M(jìn)行調(diào)整，從而適應(yīng)本地變量。它能夠使用包含本地人口統(tǒng)計(jì)的數(shù)據(jù)和本地影像設(shè)備對(duì)深度學(xué)習(xí)算法進(jìn)行定制，且無(wú)需移動(dòng)或共享患者數(shù)據(jù)。因此，醫(yī)生可為自己的患者創(chuàng)建模型，而無(wú)需使用10倍的數(shù)據(jù)量從頭開始。

對(duì)于初創(chuàng)公司來(lái)說(shuō)，Clara這種可以在官網(wǎng)免費(fèi)下載的SDK很受歡迎。NVIDIA也在增加更多的加速引擎，幫助他們提升效率，加速方案的部署。此外，Clara也面向針對(duì)醫(yī)療設(shè)備公司、醫(yī)院等企業(yè)客戶。

截至目前，這一平臺(tái)的開發(fā)者數(shù)量已經(jīng)增長(zhǎng)了4倍。據(jù)了解，最新發(fā)布的“聯(lián)邦學(xué)習(xí)系統(tǒng)” 也會(huì)整合到Clara工具平臺(tái)中。而不論是聯(lián)邦學(xué)習(xí)系統(tǒng)還是Clara，都是NVIDIA使AI在醫(yī)療行業(yè)更為落地的鋪墊。作為底層技術(shù)賦能者，NVIDIA正在通過(guò)軟件+硬件的方式，雄心勃勃地進(jìn)發(fā)著。

Kimberly Powell表示，得益于之前在消費(fèi)級(jí)AI的良好基礎(chǔ)，NVIDIA能夠在醫(yī)療AI領(lǐng)域提供面向更復(fù)雜應(yīng)用的開發(fā)工具。下一步，針對(duì)自動(dòng)化AI將進(jìn)行更為深入的研究和投入。