利用NVIDIA的nvJPEG2000庫(kù)分析DICOM醫(yī)學(xué)影像的解碼功能

進(jìn)度順序：HTJ2K 支持多種進(jìn)度順序，包括：

– LRCP (層分辨率 – 組件 – 位置)

– RLCP (分辨率層組件位置)

– RPCL (分辨率位置組件層)

– PCRL (位置 – 組件 – 分辨率層)

– CPRL (組件位置分辨率層)

變量分解水平：該標(biāo)準(zhǔn)允許不同數(shù)量的分解級(jí)別，范圍從 1 到 5。這種分解靈活性提供了根據(jù)特定需求優(yōu)化圖像壓縮的選項(xiàng)。

具有不同塊大小的多塊解碼：HTJ2K 支持解碼分為多個(gè)不同大小的圖塊圖像，以增強(qiáng)高效解碼的能力。

AWS HealthImaging 演練

在此演示中，我們展示了 AWS HealthImaging 的使用情況。我們演示了利用 GPU 加速接口使用 SageMaker 多模型端點(diǎn)進(jìn)行圖像解碼的過程。

圖 1. AWS 網(wǎng)絡(luò)主干接口

第 1 步：暫存 DICOM 圖像

首先，將您的 DICOM 圖像暫存到 Amazon S3 存儲(chǔ)桶中。AWS HealthImaging 與合作伙伴產(chǎn)品集成，可提供各種工具，以在指定的 S3 存儲(chǔ)桶中上傳和整理 DICOM 圖像數(shù)據(jù)。您可以在 AWS 開放數(shù)據(jù)計(jì)劃公開的 S3 存儲(chǔ)桶中找到包含合成醫(yī)學(xué)成像數(shù)據(jù)的開放數(shù)據(jù)集，例如合成一致性。

第 2 步：調(diào)用 API 以導(dǎo)入 DICOM 數(shù)據(jù)

在 S3 存儲(chǔ)桶中暫存 DICOM 影像后，下一步是調(diào)用原生 API 將 DICOM 數(shù)據(jù)導(dǎo)入 AWS HealthImaging。此托管 API 有助于實(shí)現(xiàn)流暢的自動(dòng)化流程，從而確保您的醫(yī)學(xué)影像數(shù)據(jù)得到高效傳輸，并為進(jìn)一步優(yōu)化做好準(zhǔn)備。

第 3 步：在數(shù)據(jù)湖中索引 DICOM 標(biāo)頭

成功導(dǎo)入后，從 AWS HealthImaging 中檢索 DICOM 標(biāo)頭，解壓縮數(shù)據(jù) Blob，并將這些 JSON 對(duì)象寫入數(shù)據(jù)湖 S3 存儲(chǔ)桶。從這里，您可以利用 AWS 數(shù)據(jù)湖分析工具，例如，用 Amazon Glue 生成數(shù)據(jù)目錄，用 Amazon Athena 執(zhí)行臨時(shí) SQL 查詢，以及用 Amazon QuickSight 來構(gòu)建數(shù)據(jù)可視化控制面板。您還可以將圖像元數(shù)據(jù)與其他健康數(shù)據(jù)模式相結(jié)合，以執(zhí)行多模態(tài)數(shù)據(jù)分析。

第 4 步：訪問醫(yī)學(xué)影像數(shù)據(jù)

借助托管 API，訪問將成為無縫體驗(yàn)。AWS HealthImaging 可讓您以亞秒級(jí)的速度以高性能和精細(xì)的方式訪問成像數(shù)據(jù)。

AWS 合作伙伴的 PACS 查看器和 VNA 云端解決方案可以將圖像查看應(yīng)用程序與 AWS HealthImaging 集成。這些應(yīng)用程序經(jīng)過優(yōu)化，可提供用戶友好且高效的體驗(yàn)，以大規(guī)模查看和分析醫(yī)學(xué)影像。AWS 合作伙伴 PACS 的示例包括 Allina Health案例研究、Visage Imaging 和 Visage AWS。

科學(xué)家和研究人員可以利用 Amazon SageMaker 來執(zhí)行 AI 和 ML 建模，以獲得高級(jí)見解，并自動(dòng)執(zhí)行審查和標(biāo)注任務(wù)。Amazon SageMaker 與 MONAI 可用于開發(fā)強(qiáng)大的 AI 模型。使用 Amazon SageMaker notebook，用戶可以從 AWS HealthImaing 中檢索像素幀，并使用開源工具（例如 itkwidget）創(chuàng)建 SageMaker 托管訓(xùn)練作業(yè)或模型托管端點(diǎn)。

作為符合 HIPAA 標(biāo)準(zhǔn)的服務(wù)，AWS HealthImaging 提供靈活性，允許遠(yuǎn)程用戶安全訪問和審計(jì)醫(yī)療影像數(shù)據(jù)。訪問控制由 Amazon Identity and Access Management 來管理，確保授權(quán)用戶對(duì) ImageSet 數(shù)據(jù)的訪問被精細(xì)控制。訪問活動(dòng)也可以通過 Amazon CloudTrail 跟蹤。

第 5 步：支持 GPU 的 HTJ2K 解碼

在典型的 AI 或 ML 工作流（CPU 解碼路徑）中，HTJ2K 編碼的像素幀將加載到 CPU 顯存中，然后解碼并轉(zhuǎn)換為 CPU 中的張量。GPU 可以復(fù)制和處理這些像素。nvJPEG2000 可以從 AWS HealthImaging 中提取已編碼的像素，并直接將其解碼為 GPU 顯存（GPU 解碼路徑），而 MONAI 具有內(nèi)置功能，可將圖像數(shù)據(jù)轉(zhuǎn)換為可隨時(shí)輸入到深度學(xué)習(xí)模型中的張量。與 CPU 解碼方法相比，它的路徑更短，如圖 2 所示。

圖 2. AWS HealthImaging API 接口

此外，nvJPEG2000 的 GPU 加速可顯著提高解碼性能，降低延遲并增強(qiáng)整體響應(yīng)速度。該庫(kù)與 Python 無縫集成，為開發(fā)者提供熟悉且強(qiáng)大的環(huán)境來執(zhí)行圖像解碼任務(wù)。

演示 Notebook，運(yùn)行在 Amazon SageMaker 上，展示了如何以可擴(kuò)展且高效的方式集成和利用 GPU 加速圖像解碼的強(qiáng)大功能。在我們的實(shí)驗(yàn)中，SageMaker g4dn.2 xlarge 實(shí)例上的 GPU 解碼速度比 SageMaker m5.2 xlarge 實(shí)例上的 CPU 解碼速度快 7 倍（圖 3）。

圖 3. 與 CPU 相比，

GPU 上的圖像解碼實(shí)現(xiàn)的加速

本實(shí)驗(yàn)中，我們使用了合成一致性數(shù)據(jù)集。對(duì)于不同大小的數(shù)據(jù)集，GPU 加速表現(xiàn)出相似的加速系數(shù)。上面標(biāo)記的圖像集包含腦 MRI 和像素幀。這些像素幀表示 DICOM MRI 圖像，并以壓縮的 HTJ2K 數(shù)據(jù)格式進(jìn)行編碼。

成本效益分析

AWS HealthImaging 與先進(jìn)的圖像解碼技術(shù)相結(jié)合，不僅能提高效率，還能為醫(yī)療保健組織提供經(jīng)濟(jì)高效的解決方案。所提議的解決方案具有巨大的端到端成本優(yōu)勢(shì)，特別是考慮到通過 GPU 加速實(shí)現(xiàn)的驚人吞吐量加速。

單臺(tái)設(shè)備的加速NVIDIA T4 GPU在 EC2 G4 實(shí)例上的性能提升約為 CPU 基準(zhǔn)的 5 倍，而EC2 G6 實(shí)例上的新GPU通過使用多個(gè) GPU 實(shí)例進(jìn)行擴(kuò)展，性能表現(xiàn)出近乎線性的可擴(kuò)展性，在四個(gè)NVIDIA T4 GPU和 4 個(gè)NVIDIAGPU實(shí)例上分別達(dá)到 19 倍和 48 倍。

在解碼性能方面，我們使用 OpenJPEG 進(jìn)行了比較分析。對(duì)于 CT1 16 位 512×512 灰度圖像，我們注意到不同 GPU 配置的速度顯著提高了 2.5 倍。此外，對(duì)于尺寸為 3064×4774 的 MG1 16 位灰度圖像，我們?cè)诟鞣N GPU 設(shè)置中實(shí)現(xiàn)了驚人的 8 倍速度提升。

為了全面評(píng)估年度云成本和能源使用情況，我們根據(jù)標(biāo)準(zhǔn)分割工作負(fù)載進(jìn)行計(jì)算。此工作負(fù)載涉及每分鐘向 MONAI 服務(wù)器平臺(tái)上傳 500 個(gè) DICOM 文件。我們的成本估算目前僅考慮 T4 GPU，預(yù)計(jì)未來將使用其他GPU。我們假設(shè)使用 Amazon EC2 G4 實(shí)例。

在這種情況下，在單個(gè) T4 GPU 上處理 DICOM 工作負(fù)載的年度成本估計(jì)約為 7400 萬美元，而與 CPU 流程相關(guān)的成本為 3.454 億美元。這意味著云支出大幅減少，預(yù)測(cè)表明此類醫(yī)院工作負(fù)載可能會(huì)節(jié)省數(shù)億美元。

在單個(gè) T4 GPU 上，與 CPU 基準(zhǔn)相比，端到端吞吐量加速大約快 5 倍。在新的 GPU 上，這種加速進(jìn)一步提升到快 12 倍左右。當(dāng)使用多個(gè) GPU 實(shí)例時(shí)，性能幾乎呈線性擴(kuò)展。例如，使用 4 個(gè) T4 GPU 時(shí)，加速大約達(dá)到 19 倍。

考慮到對(duì)環(huán)境的影響，能效是數(shù)據(jù)中心處理大型工作負(fù)載的關(guān)鍵因素。我們的計(jì)算表明，使用基于 GPU 的相應(yīng)硬件時(shí)，以 GWh 為單位的年能耗顯著降低。具體來說，單個(gè)系統(tǒng)的能耗約為 CPU 服務(wù)器的十二分之一。

對(duì)于類似于示例 DICOM 視頻場(chǎng)景（每分鐘 500 小時(shí)的視頻）的工作負(fù)載，預(yù)計(jì)每年可節(jié)省數(shù)百 GWh 的能源。這些能源節(jié)省不僅具有經(jīng)濟(jì)效益，而且還具有重大的環(huán)境意義。溫室氣體排放量的減少量相當(dāng)可觀，約等于每年避免數(shù)萬輛乘用車的排放，每輛車每年行駛約 11000 英里。

為何選擇 nvImageCodec？

NVIDIA 提供 nvImageCodec 庫(kù)，為開發(fā)者提供用于圖像解碼任務(wù)的可靠高效解決方案。nvImageCodec 利用 NVIDIA GPU 的強(qiáng)大功能，可提供加速解碼性能，非常適合需要高吞吐量和低延遲的應(yīng)用程序。

主要特性

GPU 加速：nvImageCodec 的主要特點(diǎn)之一是其 GPU 加速功能。利用 NVIDIA GPU 的計(jì)算能力，nvImageCodec 可有效提高圖像解碼速度，從而更快地處理大型數(shù)據(jù)集。

無縫集成：nvImageCodec 與 Python 無縫集成，為開發(fā)者提供熟悉的圖像處理工作流環(huán)境。借助用戶友好型 API，將 nvImageCodec 集成到現(xiàn)有 Python 項(xiàng)目中非常簡(jiǎn)單。

高效性能：借助優(yōu)化的算法和并行處理，nvImageCodec 提供卓越的性能，即使在處理復(fù)雜的圖像解碼任務(wù)時(shí)也是如此。它支持 JPEG、JPEG 2000、TIFF 等多種圖像格式，并確?？焖俑咝У奶幚?。

通用性：nvImageCodec 支持從醫(yī)學(xué)成像到計(jì)算機(jī)視覺應(yīng)用的各種用例。它支持處理灰度圖像和彩色圖像，并提供通用性和靈活性，以滿足您的圖像解碼需求。

用例

醫(yī)學(xué)成像：在醫(yī)學(xué)影像領(lǐng)域，快速準(zhǔn)確的圖像解碼對(duì)于及時(shí)診斷和治療至關(guān)重要。借助 nvImageCodec，醫(yī)療保健專業(yè)人員可以快速準(zhǔn)確地解碼醫(yī)學(xué)影像，從而加快決策制定并改善患者治療效果。

計(jì)算機(jī)視覺：在計(jì)算機(jī)視覺應(yīng)用中，圖像解碼速度在物體檢測(cè)和圖像分類等實(shí)時(shí)處理任務(wù)中至關(guān)重要。通過利用 nvImageCodec 的 GPU 加速，開發(fā)者可以實(shí)現(xiàn)高效的圖像解碼，從而提高其應(yīng)用的響應(yīng)速度。

遙感：在遙感應(yīng)用中，快速高效地解碼大型衛(wèi)星圖像對(duì)于環(huán)境監(jiān)測(cè)和災(zāi)害管理等各種任務(wù)至關(guān)重要。借助 nvImageCodec，研究人員和分析人員可以輕松解碼衛(wèi)星圖像，從而實(shí)現(xiàn)及時(shí)的分析和決策制定。

如何獲取 nvImageCodec

獲取 nvImageCodec 非常簡(jiǎn)單。您可以從以下來源獲?。篜yPI、NVIDIA 開發(fā)者專區(qū)，或是直接從 GitHub 庫(kù)獲取。下載后，您可以開始嘗試編碼和解碼示例，以提高圖像編解碼器管線的效率。

圖 4. 從 PyPI（左）、 NVIDIA 開發(fā)者專區(qū)（中）

或 GitHub 庫(kù)（右）下載 nvImageCodec 軟件包

圖 5. nvImageCodec Python API 接口

如何批量解碼高吞吐量的JPEG 2000 醫(yī)學(xué)影像

以下是一個(gè) Python 示例，展示了使用 nvImageCodec 庫(kù)進(jìn)行批量圖像解碼。此示例說明了如何使用 nvImageCodec 對(duì) HTJ2K 圖像進(jìn)行批量解碼。指定文件夾中的所有圖像均以無損 HTJ2K 格式壓縮，精度為 16 位。輸出確認(rèn)所有醫(yī)學(xué)影像均已成功解碼，且無損質(zhì)量（圖 6）。

import os; import os.path
from matplotlib import pyplot as plt
from nvidia import nvimgcodec
 
 
dir = "htj2k_lossless"
image_paths = [os.path.join(dir, filename) for filename in os.listdir(dir)]
decode_params = nvimgcodec.DecodeParams(allow_any_depth = True, color_spec=nvimgcodec.ColorSpec.UNCHANGED)
nv_imgs = nvimgcodec.Decoder().read(image_paths, decode_params)
 
 
cols= 4
rows = (len(nv_imgs)+cols-1)//cols
fig, axes = plt.subplots(rows, cols); fig.set_figheight(2*rows); fig.set_figwidth(10)
for i in range(len(nv_imgs)):
    axes[i//cols][i%cols].set_title("%ix%i : %s"%(nv_imgs[i].height, nv_imgs[i].width, nv_imgs[i].dtype));
    axes[i//cols][i%cols].set_axis_off()
    axes[i//cols][i%cols].imshow(nv_imgs[i].cpu(), cmap='gray')

圖 6. nvImageCodec 批量解碼圖像

如何批量解碼多個(gè) JPEG 2000 圖塊

以下是一個(gè) Python 示例，展示了使用 nvImageCodec 庫(kù)進(jìn)行基于塊的圖像解碼來處理大型圖像。這個(gè)示例展示了如何使用 nvImageCodec 解碼相當(dāng)大小的 JPEG 2000 壓縮圖像的過程。每個(gè)圖塊代表一個(gè)感興趣的區(qū)域(ROI)，其大小為 512x512 像素。

解碼過程包括將圖像分割為圖塊，確定區(qū)域總數(shù)，然后使用 nvImageCodec 根據(jù)每個(gè)圖塊的索引對(duì)其進(jìn)行解碼，從而提供特定的圖塊解碼信息。生成的輸出會(huì)顯示與不同圖塊相關(guān)的信息。

from matplotlib import pyplot as plt
import numpy as np
import random; random.seed(654321)
from nvidia import nvimgcodec
jp2_stream = nvimgcodec.CodeStream('./B_37_FB3-SL_570-ST_NISL-SE_1708_lossless.jp2')
def get_region_grid(stream, roi_height, roi_width):
    regions = []
    num_regions_y = int(np.ceil(stream.height / roi_height))
    num_regions_x = int(np.ceil(stream.width / roi_width))
    for tile_y in range(num_regions_y):
        for tile_x in range(num_regions_x):
            tile_start = (tile_y * roi_height, tile_x * roi_width)
            tile_end = (np.clip((tile_y + 1) * roi_height, 0, stream.height), np.clip((tile_x + 1) * roi_width, 0, stream.width))
            regions.append(nvimgcodec.Region(start=tile_start, end=tile_end))
    print(f"{len(regions)} {roi_height}x{roi_width} regions in total")
    return regions
regions_native_tiles = get_region_grid(jp2_stream, jp2_stream.tile_height, jp2_stream.tile_width) # 512x512 tiles
 
 
dec_srcs = [nvimgcodec.DecodeSource(jp2_stream, region=regions_native_tiles[random.randint(0, len(regions_native_tiles)-1)]) for k in range(16)]
imgs = nvimgcodec.Decoder().decode(dec_srcs)
 
 
fig, axes = plt.subplots(4, 4)
fig.set_figheight(15)
fig.set_figwidth(15)
i = 0
for ax0 in axes:
    for ax1 in ax0:
        ax1.imshow(np.array(imgs[i].cpu()))
        i = i + 1

結(jié)束語

無論您是醫(yī)療健康機(jī)構(gòu)、研究人員還是開發(fā)者，JPEG 2000 與尖端技術(shù)一起，為醫(yī)學(xué)成像的關(guān)鍵領(lǐng)域開辟了新的創(chuàng)新途徑。AWS HealthImaging 與先進(jìn)的壓縮標(biāo)準(zhǔn)和 GPU 加速相結(jié)合，成為致力于增強(qiáng)診斷能力和提高患者治療效果的醫(yī)療健康專業(yè)人員的重要工具。

這項(xiàng)創(chuàng)新還為高性能多模式數(shù)據(jù)分析開辟了新途徑，無縫集成基因組、臨床和醫(yī)學(xué)成像數(shù)據(jù)，以提取有意義的洞察。云上托管的數(shù)據(jù)科學(xué)平臺(tái)簡(jiǎn)化了模型訓(xùn)練和部署流程。利用這些進(jìn)步，并通過加速和可靠的圖像解碼來推動(dòng)醫(yī)療健康行業(yè)的未來發(fā)展。

審核編輯：劉清