利用視覺+語言數(shù)據(jù)增強視覺特征

研究動機

傳統(tǒng)的多模態(tài)預訓練方法通常需要"大數(shù)據(jù)"+"大模型"的組合來同時學習視覺+語言的聯(lián)合特征。但是關(guān)注如何利用視覺+語言數(shù)據(jù)提升視覺任務(wù)（多模態(tài)->單模態(tài)）上性能的工作并不多。本文旨在針對上述問題提出一種簡單高效的方法。

在這篇文章中，以醫(yī)療影像上的特征學習為例，我們提出對圖像+文本同時進行掩碼建模（即Masked Record Modeling，Record={Image,Text}）可以更好地學習視覺特征。該方法具有以下優(yōu)點：

簡單。僅通過特征相加就可以實現(xiàn)多模態(tài)信息的融合。此處亦可進一步挖掘，比如引入更高效的融合策略或者擴展到其它領(lǐng)域。

高效。在近30w的數(shù)據(jù)集上，在4張NVIDIA 3080Ti上完成預訓練僅需要1天半左右的時間。

性能強。在微調(diào)階段，在特定數(shù)據(jù)集上，使用1%的標記數(shù)據(jù)可以接近100%標記數(shù)據(jù)的性能。

方法（一句話總結(jié)）

如上圖所示，我們提出的訓練策略是比較直觀的，主要包含三步：

隨機Mask一部分輸入的圖像和文本

使用加法融合過后的圖像+文本的特征重建文本

使用圖像的特征重建圖像。

性能

如上圖所示，我們?nèi)鎸Ρ攘爽F(xiàn)有的相關(guān)方法和模型在各類微調(diào)任務(wù)上的性能。

在CheXpert上，我們以1%的有標記數(shù)據(jù)接近使用100%有標記數(shù)據(jù)的性能。

在RSNA Pneumonia和SIIM (分割)上，我們以較大幅度超過了之前最先進的方法。

審核編輯 ：李倩