通過(guò)實(shí)時(shí)傳感提高檢測(cè)率和可見(jiàn)性

人工智能的臨床應(yīng)用正在改善數(shù)字化手術(shù)，有助于減少錯(cuò)誤，提供一致性，并實(shí)現(xiàn)以前無(wú)法想象的外科醫(yī)生增強(qiáng)。

內(nèi)窺鏡檢查是一種用于檢查身體器官或體腔內(nèi)部的微創(chuàng)手術(shù)，人工智能和加速計(jì)算能夠提高檢測(cè)率和可見(jiàn)性。

例如，內(nèi)窺鏡醫(yī)生可以通過(guò)燒灼出血的血管來(lái)調(diào)查癥狀、診斷和治療患者。有多種形式的內(nèi)鏡檢查，其中許多側(cè)重于影響消化道的胃腸病。

結(jié)腸鏡檢查是胃腸道內(nèi)窺鏡檢查的最常見(jiàn)形式之一，對(duì)于發(fā)現(xiàn)結(jié)直腸癌是必不可少的 美國(guó)癌癥協(xié)會(huì)預(yù)測(cè) 2022 年將影響超過(guò) 150000 人。

在人工智能的幫助下，內(nèi)窺鏡等手術(shù)變得更加安全和一致，同時(shí)減少了外科醫(yī)生的工作量。機(jī)器學(xué)習(xí)算法增強(qiáng)的任務(wù)包括標(biāo)記、清除手術(shù)煙霧、分類(lèi)氣道疾病、識(shí)別氣道大小、識(shí)別病變和病變組織，以及自動(dòng)計(jì)算儀器的最佳物理路徑。

為了實(shí)現(xiàn)這些臨床應(yīng)用，正在為特定任務(wù)開(kāi)發(fā)技術(shù)算法：

用于檢測(cè)和自動(dòng)測(cè)量的器官分割

工具跟蹤

組織類(lèi)型識(shí)別

光流

軍團(tuán)分類(lèi)

增強(qiáng)和處理視頻流

在內(nèi)窺鏡檢查中，增強(qiáng)和處理視頻流的任務(wù)是增強(qiáng)外科醫(yī)生技術(shù)技能的關(guān)鍵。這包括內(nèi)窺鏡圖像去噪、異常對(duì)象檢測(cè)和異常測(cè)量任務(wù)，以及攝取高分辨率和高帶寬數(shù)據(jù)的流任務(wù)。

為了實(shí)現(xiàn)人工智能并完成這些任務(wù)，開(kāi)發(fā)人員必須解決醫(yī)療器械開(kāi)發(fā)過(guò)程中的諸多挑戰(zhàn)，例如：

攝取高分辨率、高帶寬數(shù)據(jù)流

以低延遲預(yù)算運(yùn)行 AI 推理

尋找靈活的傳感器和數(shù)據(jù) I / O 選項(xiàng)

構(gòu)建從邊緣到數(shù)據(jù)中心再到云的分布式計(jì)算平臺(tái)

采用新的深度學(xué)習(xí)算法

今天，大多數(shù)開(kāi)發(fā)人員在每次解決問(wèn)題或工作流瓶頸時(shí)都必須構(gòu)建單獨(dú)的解決方案。 NVIDIA Clara Holoscan 是一個(gè)具有 AI 工作負(fù)載計(jì)算的開(kāi)發(fā)平臺(tái)。通過(guò)增強(qiáng)的可視化和自動(dòng)異常檢測(cè)等工作負(fù)載，您可以輕松定制各種挑戰(zhàn)的解決方案。

擁有一個(gè)加速平臺(tái)來(lái)迭代人工智能并將其集成到內(nèi)窺鏡工作流程中，為您提供了一種低風(fēng)險(xiǎn)、低成本的方法，為您現(xiàn)有的內(nèi)窺鏡系統(tǒng)添加增強(qiáng)功能。

無(wú)論是在邊緣部署延遲敏感的實(shí)時(shí)任務(wù)，還是在云中部署分析和摘要任務(wù)， NVIDIA Clara Holoscan 都可以減輕復(fù)雜性，讓您快速構(gòu)建定制 AI 解決方案，以改進(jìn)內(nèi)窺鏡檢查。

NVIDIA Clara Holoscan 上的內(nèi)鏡 AI 樣本應(yīng)用

如果您希望為醫(yī)療設(shè)備構(gòu)建自定義應(yīng)用程序，參考應(yīng)用程序可以提供一個(gè)簡(jiǎn)單的起點(diǎn)。 NVIDIA Clara Holoscan SDK 包括一個(gè)支持人工智能的內(nèi)窺鏡應(yīng)用程序示例，作為模板，用于在現(xiàn)有應(yīng)用程序中重用組件和應(yīng)用程序圖，以構(gòu)建自定義人工智能管道。

內(nèi)窺鏡 AI 示例應(yīng)用程序具有 GXF 的端到端功能， GXF 是構(gòu)建高性能應(yīng)用程序的模塊化可擴(kuò)展框架。 GXF 為與以下接口的設(shè)備提供支持： AJA 具有 HDMI 輸入。其深度學(xué)習(xí)模型可以對(duì)內(nèi)窺鏡視頻流實(shí)時(shí)執(zhí)行目標(biāo)檢測(cè)和工具跟蹤。

幾個(gè)功能用于最小化總延遲：

GPUDirect RDMA 視頻數(shù)據(jù)傳輸，以消除向系統(tǒng)內(nèi)存或從系統(tǒng)內(nèi)存復(fù)制的開(kāi)銷(xiāo)。

NVIDIA 性能原語(yǔ) 在人工智能推理之前， CUDA 加速 2D 圖像轉(zhuǎn)換庫(kù)。

TensorRT 優(yōu)化 AI 推理和加速的運(yùn)行時(shí)間。

CUDA 和 OpenGL 互操作性，為可視化提供了 GPU 上的高效資源共享。

關(guān)于作者

Jin Li 是 NVIDIA 解決方案架構(gòu)師團(tuán)隊(duì)的數(shù)據(jù)科學(xué)家，致力于將深度學(xué)習(xí)模型應(yīng)用于不同領(lǐng)域，如智能視頻分析和自然語(yǔ)言處理。在加入 NVIDIA 之前， Jin 在卡內(nèi)基梅隆大學(xué)獲得了機(jī)器學(xué)習(xí)碩士學(xué)位，專(zhuān)注于計(jì)算機(jī)視覺(jué)的深度學(xué)習(xí)應(yīng)用。

Nate Bradford 是 NVIDIA 的醫(yī)療內(nèi)容經(jīng)理，分享 AI 框架和解決方案，以幫助開(kāi)發(fā)人員、研究人員和創(chuàng)新者完成畢生的工作。從加速新療法的發(fā)現(xiàn)到實(shí)現(xiàn)醫(yī)療設(shè)備的實(shí)時(shí)傳感，人工智能正在開(kāi)創(chuàng)醫(yī)療保健的新時(shí)代。

審核編輯：郭婷