SMILY:一個(gè)以人為中心,相似圖像的病理搜索工具

谷歌AI最近分享了兩篇研究論文，描述了在醫(yī)療保健領(lǐng)域類似圖像搜索的人機(jī)交互研究進(jìn)展。在第一篇題為《SMILY: 組織病理學(xué)的相似圖像搜索》的論文中，他們描述了一個(gè)基于ML的工具，用于病理學(xué)中的反向圖像搜索。第二篇論文《醫(yī)療決策過程中，以人為中心處理不完美算法的工具》探索了基于圖像搜索的不同細(xì)化模式，并評估了它們對醫(yī)生與SMILY交互的影響。

SMILY實(shí)現(xiàn)了一個(gè)深度學(xué)習(xí)模型，使用50億個(gè)自然的、非病理圖像進(jìn)行訓(xùn)練。該模型學(xué)會了通過計(jì)算和比較圖像的嵌入來區(qū)分相似的圖像和不同的圖像，然后使用癌癥基因組圖譜中未識別圖像的語料庫創(chuàng)建圖像補(bǔ)丁及其相關(guān)嵌入的數(shù)據(jù)庫。當(dāng)在SMILY工具中選擇一個(gè)查詢圖像補(bǔ)丁時(shí)，將以類似的方式計(jì)算查詢補(bǔ)丁的嵌入，并與數(shù)據(jù)庫進(jìn)行比較，以檢索嵌入最相似的圖像補(bǔ)丁。

SMILY在協(xié)助搜索大型數(shù)據(jù)庫的數(shù)字化病理圖像上有很大的潛力。它可以幫助編制帶有描述性說明的病理圖像教材的索引，使受訓(xùn)的醫(yī)科學(xué)生或病理學(xué)家能夠使用視覺搜索對這些教材進(jìn)行檢索，加快教學(xué)進(jìn)程。

此外，它還可以應(yīng)用于癌癥研究人員感興趣的研究——腫瘤形態(tài)學(xué)與患者預(yù)后的相關(guān)性。研究結(jié)果還表明，復(fù)雜的ML算法需要與以人為中心的設(shè)計(jì)和交互工具相結(jié)合，這是最有意義的。