利用NVIDIA Clara AGX創(chuàng)建自動皮膚病檢查系統(tǒng)

當(dāng)今美國最常見的癌癥是皮膚癌。主要有三種變體：黑色素瘤、基底細(xì)胞癌（ BCC ）和鱗狀細(xì)胞癌（ SCC ）。雖然黑色素瘤只占所有皮膚癌的 1% ，但它是最致命的，在沒有早期發(fā)現(xiàn)和治療的情況下迅速轉(zhuǎn)移。這使得早期檢測至關(guān)重要，因為許多研究表明，在早期檢測時，存活率明顯提高。

目前的診斷程序是通過皮膚科醫(yī)生的目視檢查，然后進(jìn)行活檢，以確認(rèn)任何可疑的病理。這種手工檢查依賴于人的主觀能動性，因此出錯率很高。當(dāng)一個初級保健醫(yī)生尋找皮膚癌時，他們的敏感度，或者正確識別病人的能力，只有 0 .45 ，而皮膚科醫(yī)生的敏感度為 0.97 。

近年來，利用深度學(xué)習(xí)進(jìn)行醫(yī)學(xué)診斷已成為一個迅速發(fā)展的領(lǐng)域。在這篇文章中，我們將討論如何使用 最近發(fā)布的 NVIDIA Clara AGX 開發(fā)包 開發(fā)一個端到端的示例，說明深入學(xué)習(xí)如何能夠?qū)е乱粋€沒有人類偏見的自動皮膚病檢查系統(tǒng)。

數(shù)據(jù)集和模型

此參考應(yīng)用程序是兩個深度學(xué)習(xí)模型的配對：

一種物體探測模型（ YOLOv4 ），通過攝像機(jī)尋找身體上的痣。這個模型是用一個原始的數(shù)據(jù)集來訓(xùn)練的，這個數(shù)據(jù)集是由注釋體痣圖像創(chuàng)建的。

一種分類模型（ EfficientNet ），從目標(biāo)檢測模型接收痣，然后確定它是良性的、未知的還是黑色素瘤。使用 SIIM-ISIC 黑色素瘤 Kaggle 挑戰(zhàn)數(shù)據(jù)集 對分類模型進(jìn)行訓(xùn)練。

圖 1 顯示了使用單個視頻幀的算法的工作流程。該應(yīng)用程序可以使用高清網(wǎng)絡(luò)攝像頭或 IP 攝像頭作為模型的輸入，甚至可以在以前捕獲的視頻上運行。

圖 1 皮膚痣檢測和分類工作流程 。

Clara AGX 開發(fā)工具包

這個參考應(yīng)用程序是使用 NVIDIA Clara AGX 開發(fā)工具包 構(gòu)建的，這是一個高端性能工作站，它考慮到了醫(yī)療應(yīng)用程序。該系統(tǒng)包括一個 RTX 6000 GPU ，提供 200 多個 INT8 AI 峰值性能和 24 GB 的 VRAM ，為運行多個模型留下了大量開銷。

圖 2 Clara AGX 開發(fā)工具包。

此外， AGX 平臺通過 100G 以太網(wǎng)和 NVIDIA ConnectX-6 網(wǎng)絡(luò)接口卡（ NIC ）為高帶寬傳感器提供支持 NVIDIA 合作伙伴目前正在使用 NVIDIA Clara AGX 開發(fā)工具包開發(fā)超聲、基因組學(xué)和內(nèi)窺鏡檢查方面的應(yīng)用。

Clara AGX 開發(fā)者工具包目前只提供給 NVIDIA Clara 開發(fā)者合作伙伴計劃 的成員。你登記后，我們會聯(lián)系的。

概括

我們已經(jīng)提供了一個皮膚科應(yīng)用程序的研究原型，但是要將其轉(zhuǎn)換為一個真正的應(yīng)用程序需要什么呢？

商用數(shù)據(jù)。 SIIM-ISIC 數(shù)據(jù)集嚴(yán)格用于非商業(yè)用途。

更大的目標(biāo)檢測數(shù)據(jù)集。 我們使用的數(shù)據(jù)集只包含幾百個帶注釋的圖像，這確實導(dǎo)致了比預(yù)期數(shù)量更多的誤報。

以“光速”（ SOL ）運行模型。 SOL 通常需要使用混合精度訓(xùn)練模型，然后將模型轉(zhuǎn)換為與 NVIDIA TensorRT 框架 一起使用 TensorRT 設(shè)計用于優(yōu)化 NVIDIA gpu 上的模型推理，并與 PyTorch 和 TensorFlow 等通用框架協(xié)同工作。這些步驟將有助于確保應(yīng)用程序管道實時運行。

FDA 批準(zhǔn)。 任何已開發(fā)的醫(yī)療應(yīng)用程序必須經(jīng)過 FDA 批準(zhǔn)。今天，有超過 70 個 FDA 批準(zhǔn)的人工智能申請 和 FDA 一直積極征求反饋意見 來自這個領(lǐng)域的開發(fā)者。這通常是一個漫長（ 18 個月）和艱巨的過程，但卻是必要的。

關(guān)于作者

王柔佳博士。杜克大學(xué)的候選人 Nimmi Ramanujam 博士建議。她的研究興趣在于醫(yī)學(xué)成像和全球健康領(lǐng)域。目前，她正在開發(fā)一個低成本的光學(xué)分子成像平臺，將計算機(jī)輔助算法作為傳統(tǒng)病理學(xué)的替代方案，在低資源環(huán)境下提供更易獲取的護(hù)理點乳腺癌診斷。她希望這種低成本的診斷工具和 ML 算法能夠擴(kuò)大對乳腺癌病理學(xué)和高質(zhì)量診斷能力的了解，其最佳目標(biāo)是提高乳腺癌患者的生存率，而不管他們的社會經(jīng)濟(jì)背景如何。

Sean Huver 博士是 NVIDIA Clara AGX 團(tuán)隊的高級機(jī)器學(xué)習(xí)工程師，致力于在醫(yī)療初創(chuàng)企業(yè)、研究人員和制造商中采用人工智能。此前，肖恩是計算機(jī)視覺領(lǐng)域的初創(chuàng)公司創(chuàng)始人，也是國防部高級研究計劃局和其他國防部項目的研究科學(xué)家。肖恩擁有路易斯安那州立大學(xué)的量子光學(xué)物理學(xué)博士學(xué)位和加州大學(xué)洛杉磯分校的物理學(xué)學(xué)士學(xué)位。

Roujia Wang， 杜克大學(xué)的候選人 Nimmi Ramanujam 博士建議。她的研究興趣在于醫(yī)學(xué)成像和全球健康領(lǐng)域。目前，她正在開發(fā)一個低成本的光學(xué)分子成像平臺，將計算機(jī)輔助算法作為傳統(tǒng)病理學(xué)的替代方案，在低資源環(huán)境下提供更易獲取的護(hù)理點乳腺癌診斷。她希望這種低成本的診斷工具和 ML 算法能夠擴(kuò)大對乳腺癌病理學(xué)和高質(zhì)量診斷能力的了解，其最佳目標(biāo)是提高乳腺癌患者的生存率，而不管他們的社會經(jīng)濟(jì)背景如何。

Sean Huver 博士是 NVIDIA Clara AGX 團(tuán)隊的高級機(jī)器學(xué)習(xí)工程師，致力于在醫(yī)療初創(chuàng)企業(yè)、研究人員和制造商中采用人工智能。此前，肖恩是計算機(jī)視覺領(lǐng)域的初創(chuàng)公司創(chuàng)始人，也是國防部高級研究計劃局和其他國防部項目的研究科學(xué)家。肖恩擁有路易斯安那州立大學(xué)的量子光學(xué)物理學(xué)博士學(xué)位和加州大學(xué)洛杉磯分校的物理學(xué)學(xué)士學(xué)位。

審核編輯：郭婷