上海AI實(shí)驗(yàn)室發(fā)布新一代書生·視覺大模型

近期，上海人工智能實(shí)驗(yàn)室聯(lián)手多所知名高校及科技公司，共同開發(fā)出全新的基礎(chǔ)版本書生·視覺大模型——InternVL。該模型搭載了高達(dá)60億的視覺編碼器參數(shù)（InternVL-6B），創(chuàng)新性引入對比-生成融合的漸進(jìn)式對齊技術(shù)，有效實(shí)現(xiàn)了互聯(lián)網(wǎng)規(guī)模下視覺大模型與語言大模型的精準(zhǔn)匹配。

InternVL-6B不僅能高效處理復(fù)雜圖像中細(xì)膩的視覺元素，實(shí)現(xiàn)圖像到文本的轉(zhuǎn)換功能，而且能夠自動解析和理解復(fù)雜網(wǎng)頁內(nèi)容，包括解決其中可能存在的數(shù)學(xué)問題。

此外，自成立以來，上海AI實(shí)驗(yàn)室在視覺大模型領(lǐng)域持續(xù)推陳出新。2021年，實(shí)驗(yàn)室推出了首款具有廣泛適用性的巨型視覺模型書生1.0，憑借其單個基本模型便可覆蓋分類、目標(biāo)檢測、語義分割、深度估計四大部分;2022年，又發(fā)布了升級版視覺大模型InternImage，創(chuàng)新采用動態(tài)稀疏卷積作為主要操作手段，開創(chuàng)了非Transformer結(jié)構(gòu)的巨型模型設(shè)計新思路，這使得它在包含12種視覺任務(wù)在內(nèi)的多個領(lǐng)域表現(xiàn)優(yōu)異。