理解指向，說出坐標，Shikra開啟多模態(tài)大模型參考對話新維度

在人類的日常交流中，經(jīng)常會關注場景中不同的區(qū)域或物體，人們可以通過說話并指向這些區(qū)域來進行高效的信息交換。這種交互模式被稱為參考對話（Referential Dialogue）。

如果 MLLM 擅長這項技能，它將帶來許多令人興奮的應用。例如，將其應用到 Apple Vision Pro 等混合現(xiàn)實 (XR) 眼鏡中，用戶可以使用視線注視指示任何內(nèi)容與 AI 對話。同時 AI 也可以通過高亮等形式來指向某些區(qū)域，實現(xiàn)與用戶的高效交流。

本文提出的Shikra 模型，就賦予了 MLLM 這樣的參考對話能力，既可以理解位置輸入，也可以產(chǎn)生位置輸出。

• 論文地址：http://arxiv.org/abs/2306.15195

• 代碼地址：https://github.com/shikras/shikra

核心亮點

Shikra 能夠理解用戶輸入的 point/bounding box，并支持 point/bounding box 的輸出，可以和人類無縫地進行參考對話。

Shikra 設計簡單直接，采用非拼接式設計，不需要額外的位置編碼器、前 / 后目標檢測器或外部插件模塊，甚至不需要額外的詞匯表。

如上圖所示，Shikra 能夠精確理解用戶輸入的定位區(qū)域，并能在輸出中引用與輸入時不同的區(qū)域進行交流，像人類一樣通過對話和定位進行高效交流。

如上圖所示，Shikra 不僅具備 LLM 所有的基本常識，還能夠基于位置信息做出推理。

如上圖所示，Shikra 可以對圖片中正在發(fā)生的事情產(chǎn)生詳細的描述，并為參考的物體生成準確的定位。

盡管Shikra沒有在 OCR 數(shù)據(jù)集上專門訓練，但也具有基本的 OCR 能力。

更多例子

其他傳統(tǒng)任務

方法

模型架構采用 CLIP ViT-L/14 作為視覺主干，Vicuna-7/13B 作為基語言模型，使用一層線性映射連接 CLIP 和 Vicuna 的特征空間。

Shikra 直接使用自然語言中的數(shù)字來表示物體位置，使用 [xmin, ymin, xmax, ymax] 表示邊界框，使用 [xcenter, ycenter] 表示區(qū)域中心點，區(qū)域的 xy 坐標根據(jù)圖像大小進行歸一化。每個數(shù)字默認保留 3 位小數(shù)。這些坐標可以出現(xiàn)在模型的輸入和輸出序列中的任何位置。記錄坐標的方括號也自然地出現(xiàn)在句子中。

實驗結果

Shikra 在傳統(tǒng) REC、VQA、Caption 任務上都能取得優(yōu)良表現(xiàn)。同時在 PointQA-Twice、Point-V7W 等需要理解位置輸入的 VQA 任務上取得了 SOTA 結果。

本文使用 POPE benchmark 評估了 Shikra 產(chǎn)生幻覺的程度。Shikra 得到了和 InstrcutBLIP 相當?shù)慕Y果，并遠超近期其他 MLLM。

思想鏈（CoT），旨在通過在最終答案前添加推理過程以幫助 LLM 回答復雜的 QA 問題。這一技術已被廣泛應用到自然語言處理的各種任務中。然而如何在多模態(tài)場景下應用 CoT 則尚待研究。尤其因為目前的 MLLM 還存在嚴重的幻視問題，CoT 經(jīng)常會產(chǎn)生幻覺，影響最終答案的正確性。通過在合成數(shù)據(jù)集 CLEVR 上的實驗，研究發(fā)現(xiàn)，使用帶有位置信息的 CoT 時，可以有效減少模型幻覺提高模型性能。

結論

本文介紹了一種名為 Shikra 的簡單且統(tǒng)一的模型，以自然語言的方式理解并輸出空間坐標，為 MLLM 增加了類似于人類的參考對話能力，且無需引入額外的詞匯表、位置編碼器或外部插件。

THE END