TextBind：在開放世界中多輪交織的多模態(tài)指令跟隨

摘要

擁有指令跟隨能力的大型語言模型已經(jīng)徹底改變了人工智能領(lǐng)域。這些模型通過其自然語言界面展現(xiàn)出卓越的通用性，能夠應(yīng)對各種現(xiàn)實(shí)世界任務(wù)。

然而，它們的性能在很大程度上依賴于高質(zhì)量的示例數(shù)據(jù)，通常難以獲得。當(dāng)涉及到多模態(tài)指令跟隨時(shí)，這一挑戰(zhàn)進(jìn)一步加劇。

我們介紹了TextBind，這是一個(gè)幾乎無需注釋的框架，用于賦予更大型的語言模型多輪交織的多模態(tài)指令跟隨能力。

我們的方法僅需要圖像描述對，并從語言模型生成多輪多模態(tài)指令-響應(yīng)對話。我們發(fā)布了我們的數(shù)據(jù)集、模型和演示，以促進(jìn)未來在多模態(tài)指令跟隨領(lǐng)域的研究。

數(shù)據(jù)

TextBind提供了處理和生成任意交織的圖像和文本內(nèi)容的示例，使語言模型能夠在開放世界場景中與用戶進(jìn)行自然互動。

模型

我們的模型包括一個(gè)圖像編碼器、一個(gè)圖像解碼器、一個(gè)語言模型，以及連接它們的橋接網(wǎng)絡(luò)，支持多輪交織的多模態(tài)指令跟隨。它可以生成并處理任意交織的圖像和文本內(nèi)容。

demo

語言模型能夠執(zhí)行各種任務(wù)，包括根據(jù)一組圖像創(chuàng)作引人入勝的故事，比較多個(gè)圖像中的共同和不同之處，用生動的圖像解釋概念，生成帶有插圖的長篇連貫故事等等。最有趣的是，我們模型的核心創(chuàng)新在于其能夠在廣泛的真實(shí)場景中與用戶自然互動。歡迎訪問我們的demo[1]。

例子