機器之心發(fā)布
來自中科大、微軟亞研院的研究者們提出了一種新型的通用視覺-語言預(yù)訓(xùn)練模型(Visual-Linguistic BERT,簡稱 VL-BERT),該模型采用簡單而強大的 Transformer 模型作為主干網(wǎng)絡(luò),并將其輸入擴展為同時包含視覺與語言輸入的多模態(tài)形式,適用于絕大多數(shù)視覺-語言下游任務(wù)。
為了讓 VL-BERT 模型利用更為通用的特征表示,作者在大規(guī)模圖片描述生成數(shù)據(jù)集 ConceptualCaptions 中進行 VL-BERT 的預(yù)訓(xùn)練,實驗證明此預(yù)訓(xùn)練過程可以顯著提高下游的視覺-語言任務(wù)的效果,包含視覺常識推理、視覺問答與引用表達式理解等。值得一提的是,在視覺常識推理排行榜中,VL-BERT 取得了當前單模型的最好效果。
適用于下游任務(wù)的通用特征表示預(yù)訓(xùn)練是深度網(wǎng)絡(luò)成功的標志之一。在計算機視覺領(lǐng)域,深度網(wǎng)絡(luò)在 ImageNet 數(shù)據(jù)集進行圖像分類的預(yù)訓(xùn)練過程,被發(fā)現(xiàn)可廣泛提高多種圖像識別任務(wù)的效果。在自然語言處理領(lǐng)域中,Transformer 模型在大規(guī)模語料庫中使用語言模型進行預(yù)訓(xùn)練的過程,也被證明可廣泛提高多種自然語言處理任務(wù)的效果。
但對于計算機視覺和自然語言處理領(lǐng)域交叉的任務(wù),例如圖像標題生成、視覺問答、視覺常識推理等,缺少這種預(yù)訓(xùn)練的通用多模態(tài)特征表示。
一般來說,之前的視覺-語言模型分別使用計算機視覺或自然語言處理領(lǐng)域中的預(yù)訓(xùn)練模型進行初始化,但如果目標任務(wù)數(shù)據(jù)量不足,模型容易過擬合從而損失性能。并且對于不同的視覺-語言任務(wù),其網(wǎng)絡(luò)架構(gòu)一般是經(jīng)過特殊設(shè)計的,由此很難通過視覺-語言聯(lián)合預(yù)訓(xùn)練的過程幫助下游任務(wù)。
由此,在本文中,提出了一種可廣泛應(yīng)用于視覺-語言任務(wù)的預(yù)訓(xùn)練通用特征表示,稱為 Visual-LinguisitcBERT,簡稱 VL-BERT,其架構(gòu)如下圖所示:
VL-BERT 的主干網(wǎng)絡(luò)使用 TransformerAttention 模塊,并將視覺與語言嵌入特征作為輸入,其中輸入的每個元素是來自句子中的單詞、或圖像中的感興趣區(qū)域(Region of Interests,簡稱 RoIs)。在模型訓(xùn)練的過程中,每個元素均可以根據(jù)其內(nèi)容、位置、類別等信息自適應(yīng)地聚合來自所有其他元素的信息。在堆疊多層 TransformerAttention 模塊后,其特征表示即具有更為豐富的聚合與對齊視覺和語言線索的能力。
為了更好地建模通用的視覺-語言表示,在大規(guī)模視覺-語言語料庫中對 VL-BERT 進行了預(yù)訓(xùn)練。采用的預(yù)訓(xùn)練數(shù)據(jù)集為圖像標題生成數(shù)據(jù)集,Conceptual Captions,其中包含了大約 330 萬個圖像標題對。
VL-BERT 的預(yù)訓(xùn)練主要采用三個任務(wù):a) 屏蔽語言模型(Masked Language Modeling),即隨機屏蔽掉語句中的一些詞,并預(yù)測當前位置的詞是什么;b) 屏蔽 RoI 分類(MaskedRoIClassification),即隨機屏蔽掉視覺輸入中的一些 RoIs,并預(yù)測此空間位置對應(yīng) RoI 的所屬類別;c) 圖像標題關(guān)聯(lián)預(yù)測(Sentence-Image Relationship Prediction),即預(yù)測圖像與標題是否屬于同一對。
在預(yù)訓(xùn)練結(jié)束后,使用微調(diào)來進行下游任務(wù)的訓(xùn)練。本文中主要在三個視覺-語言下游任務(wù)中進行微調(diào),即視覺常識推理(VisualCommonsenseReasoning)、視覺問答(VisualQuestionAnswering)與引用表達式理解(ReferringExpressionComprehension),下面將分別介紹。
視覺常識推理任務(wù)即給定圖片與相關(guān)問題,機器不僅需要回答問題,還需要提供理由來證明答案的正確性。此任務(wù)(Q-》AR)被分解為兩個子任務(wù),即視覺問答(Q-》A,給定圖片與問題,輸出正確答案),以及視覺推理(QA-》R,給定圖片、問題與答案,輸出正確的理由)。
下面以視覺問答子任務(wù)為例,此任務(wù)的輸入為問題、答案與圖像的 RoIs,并預(yù)測此答案是否為正確答案。除此之外,作者發(fā)現(xiàn)微調(diào)時增加與預(yù)訓(xùn)練類似的 RoI 分類損失也會進一步提升性能,如下:
視覺問答任務(wù)即給定圖片,回答與圖片輸入相關(guān)的問題。由此模型的輸入即為問題與圖像,基本元素為單詞或 RoI,最終對答案進行預(yù)測,如下:
引用表達式理解任務(wù)是使用給定的引用表達式來定位圖像中的相關(guān)對象,由此輸入為查詢(引用表達式)與圖片中的 RoIs,并預(yù)測哪個 RoI 為查詢輸入的引用,如下:
下面將介紹論文中的一些主要實驗結(jié)果:
a)在視覺常識推理(Visual Commonsense Reasoning)任務(wù)中,與當前最好方法的結(jié)果比較如下:
b)在視覺問答(Visual Question Answering)任務(wù)中,與當前最好方法的結(jié)果比較如下:
c)在引用表達式理解(Referring Expression Comprehension)任務(wù)中,與當前最好方法的結(jié)果比較如下:
-
微軟
+關(guān)注
關(guān)注
4文章
6516瀏覽量
103609 -
機器
+關(guān)注
關(guān)注
0文章
772瀏覽量
40637
原文標題:牛人發(fā)明無人機自動建房,空中噴“水泥”,網(wǎng)友:建筑工人要失業(yè)
文章出處:【微信號:youuav,微信公眾號:無人機網(wǎng)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論