視覺深度學(xué)習(xí)模型：規(guī)模越大效果越佳嗎？

0. 這篇文章干了啥？

擴(kuò)大模型規(guī)模一直是近年來在人工智能各個(gè)領(lǐng)域取得進(jìn)展的關(guān)鍵驅(qū)動(dòng)因素之一，包括語言建模，圖像和視頻生成等。同樣地，對(duì)于視覺理解來說，較大的模型在足夠的預(yù)訓(xùn)練數(shù)據(jù)的情況下一直顯示出改進(jìn)。這一趨勢(shì)導(dǎo)致追求具有數(shù)十億參數(shù)的巨型模型成為實(shí)現(xiàn)更強(qiáng)大的視覺表示和在下游任務(wù)上提升性能的默認(rèn)策略。

在這項(xiàng)工作中，作者重新考慮了一個(gè)問題：獲得更好的視覺理解是否一定需要較大的模型？ 與其擴(kuò)大模型規(guī)模，作者考慮在圖像規(guī)模維度上進(jìn)行縮放，稱之為"尺度縮放"（S2）。通過S2，可以對(duì)多個(gè)圖像尺度上運(yùn)行預(yù)訓(xùn)練的并凍結(jié)的較小視覺模型（例如，ViT-B 或 ViT-L）以生成多尺度表示。采用一個(gè)在單個(gè)圖像尺度上進(jìn)行預(yù)訓(xùn)練的模型，將圖像插值到多個(gè)尺度，通過將較大的圖像分割成正常大小（224^2）的子圖像并在每個(gè)尺度上分別處理然后匯總和與原始表示中的特征進(jìn)行連接來提取每個(gè)尺度上的特征。

令人驚訝的是，通過對(duì)各種預(yù)訓(xùn)練模型的視覺表示（例如，ViT，DINOv2，OpenCLIP，MVP）進(jìn)行評(píng)估，作者發(fā)現(xiàn)具有S2縮放的較小模型在分類、語義分割、深度估計(jì)、MLLM基準(zhǔn)測(cè)試和機(jī)器人操作方面始終優(yōu)于較大模型，而且參數(shù)數(shù)量明顯較少（0.28×至0.07×）并且具有可比較的GFLOPS。值得注意的是，通過將圖像尺度擴(kuò)大到1008^2，在V?基準(zhǔn)測(cè)試上實(shí)現(xiàn)了MLLM視覺細(xì)節(jié)理解的最新性能，超過了開源甚至商業(yè)的MLLMs如 Gemini Pro和 GPT-4V。

作者進(jìn)一步研究了S2相對(duì)于模型大小縮放的首選縮放方法的條件。發(fā)現(xiàn)：雖然在許多情況下具有S2的較小模型比較大模型實(shí)現(xiàn)了更好的下游性能，但是在難例上，較大模型仍然可以展現(xiàn)出更好的泛化能力。這引發(fā)了對(duì)較小模型是否能夠達(dá)到與較大模型相同的泛化能力的調(diào)查。令人驚訝的是，作者發(fā)現(xiàn)較大模型的特征可以通過單一線性變換很好地近似于多尺度較小模型，這意味著較小模型至少應(yīng)具有與其較大對(duì)應(yīng)物類似的學(xué)習(xí)能力。作者假設(shè)它們較弱的泛化能力源自于僅使用單一圖像尺度進(jìn)行預(yù)訓(xùn)練。通過在ViT上進(jìn)行ImageNet-21k預(yù)訓(xùn)練的實(shí)驗(yàn)，作者展示了使用S2縮放進(jìn)行預(yù)訓(xùn)練可以提高較小模型的泛化能力，使它們能夠達(dá)到甚至超越較大模型的優(yōu)勢(shì)。

下面一起來閱讀一下這項(xiàng)工作~

1. 論文信息

2. 摘要

將視覺模型的規(guī)模擴(kuò)大已成為獲取更強(qiáng)大視覺表征的事實(shí)標(biāo)準(zhǔn)。在這項(xiàng)工作中，我們討論了更大的視覺模型不再必要的點(diǎn)。首先，我們展示了尺度上的擴(kuò)展（S2）的力量，在這種情況下，一個(gè)預(yù)先訓(xùn)練并凍結(jié)的較小的視覺模型（例如ViT-B或ViT-L），在多個(gè)圖像尺度上運(yùn)行，可以在分類、分割、深度估計(jì)、多模態(tài)LLM（MLLM）基準(zhǔn)和機(jī)器人操縱方面勝過較大的模型（例如ViT-H或ViT-G）。值得注意的是，S2在對(duì)V*基準(zhǔn)的MLLM進(jìn)行詳細(xì)理解方面達(dá)到了最先進(jìn)的性能，超過了諸如GPT-4V之類的模型。我們研究了與模型規(guī)模比較的情況下S2作為首選尺度方法的條件。盡管較大的模型在困難示例上具有更好的泛化能力，但我們表明較大視覺模型的特征可以很好地由多尺度較小模型的特征近似。這表明，目前大型預(yù)訓(xùn)練模型學(xué)到的大部分，如果不是全部，表示也可以從多尺度較小模型中獲得。我們的結(jié)果表明，多尺度較小模型具有與較大模型相當(dāng)?shù)膶W(xué)習(xí)能力，并且用S2預(yù)訓(xùn)練較小模型可以達(dá)到或甚至超過較大模型的優(yōu)勢(shì)。我們發(fā)布了一個(gè)Python包，可以用一行代碼將S2應(yīng)用于任何視覺模型。

3. S2-Wrapper

S2-Wrapper是一種簡單的機(jī)制，可以以無參數(shù)的方式將任何預(yù)訓(xùn)練的視覺模型擴(kuò)展到多個(gè)圖像尺度。以ViT-B為例，S2-Wrapper首先將輸入圖像插值到不同的尺度（例如，224^2和448^2），并將每個(gè)尺度劃分為幾個(gè)與默認(rèn)輸入尺寸相同的子圖像（448^2→4×224^2）。對(duì)于每個(gè)尺度，所有子圖像都被饋送到同一模型中，并且輸出（例如，4×16^2）被合并成整個(gè)圖像的特征圖（32^2）。不同尺度的特征圖被平均池化到原始空間大小（16^2），然后拼接在一起。最終的多尺度特征具有與單尺度特征相同的空間形狀，但具有更高的通道維度（例如，1536 vs. 768）。

4. 實(shí)驗(yàn)

對(duì)三個(gè)模型（ViT、DINOv2 和 OpenCLIP）和三個(gè)任務(wù)（ImageNet 分類、語義分割和深度估計(jì)）進(jìn)行 S2 縮放和模型大小縮放的比較。

對(duì)于每個(gè)模型和每個(gè)任務(wù)，測(cè)試基本、大型和巨型/巨大模型的模型大小縮放（以灰色曲線繪制）。對(duì)于 S2 縮放（以綠色曲線繪制），測(cè)試三組從單一尺度（1x）到多尺度（最多 3x）的比例，并調(diào)整每組比例，使其與相應(yīng)模型大小的 GFLOPs 匹配。請(qǐng)注意，對(duì)于特定的模型和任務(wù)，分別在基本模型和大型模型上測(cè)試 S2 縮放（以淺綠色和深綠色曲線分別繪制）。可以看到，在（a）、（d）、（e）、（f）、（g）和（i）中，具有 S2 縮放的基本模型已經(jīng)實(shí)現(xiàn)了與具有相似 GFLOPs 但模型尺寸更小的大型模型相媲美或更好的性能。在（b）和（h）中，來自大型模型的 S2 縮放與巨型模型相當(dāng)，同樣具有相似的 GFLOPs 和更少的參數(shù)。唯一的失敗案例是（c），在該案例中，基本模型或大型模型上的 S2 縮放與模型大小縮放無法競(jìng)爭。

在MLLM上進(jìn)行S2縮放和模型尺寸縮放的比較。 S2縮放比模型尺寸縮放在所有三類基準(zhǔn)上都具有相當(dāng)或更好的縮放曲線。使用大的圖像尺度通常會(huì)提供更好的性能，而使用較大的模型在某些情況下會(huì)降低模型的性能。

6. 實(shí)驗(yàn)結(jié)果

評(píng)估三類模型：(i) 在ImageNet-21k上預(yù)訓(xùn)練的ViT，(ii) 在LAION-2B上預(yù)訓(xùn)練的OpenCLIP，以及(iii) 在ImageNet-1k上預(yù)訓(xùn)練的MAE。重建損失是所有輸出標(biāo)記的平均值，并在ImageNet-1k上進(jìn)行評(píng)估。結(jié)果顯示在表2中。與基本模型相比，觀察到多尺度基本模型始終具有更低的損失，并且重建了更多大模型表示的信息（例如，對(duì)于ViT，0.521 vs. 0.440）。更有趣的是，作者發(fā)現(xiàn)來自多尺度基本模型的重建信息量通常接近于巨型模型，盡管有時(shí)略低但從未明顯超過。例如，雖然OpenCLIP-Base可以重建92.7%的信息，但多尺度基本模型可以重建99.9%。對(duì)于其他模型，Base-S2模型的重建比例通常接近100%，但從未超過0.5%。這意味著(i) 巨型/巨大模型確實(shí)是特征重建的有效上界，以及(ii) 更大模型的大部分特征也被多尺度較小模型所學(xué)習(xí)。唯一的例外是當(dāng)重建OpenCLIP-Huge特征時(shí)，重建比例為88.9%。盡管不接近100%，但仍顯著優(yōu)于基本大小模型，這意味著至少巨型模型特征的一大部分仍是多尺度特征。這些結(jié)果暗示具有S2縮放的較小模型應(yīng)至少具有學(xué)習(xí)較大模型學(xué)習(xí)的相似能力水平。另一方面，還注意到訓(xùn)練集和測(cè)試集之間存在差距，即測(cè)試集上的重建比例可能低于訓(xùn)練集（例如，在OpenCLIP-L上為96.3% vs. 99.9%）。作者假設(shè)這是因?yàn)閮H在預(yù)訓(xùn)練后應(yīng)用多尺度，而僅在單個(gè)圖像尺度上預(yù)訓(xùn)練的基本模型特征具有較弱的泛化能力。

對(duì)于記憶能力，給定一個(gè)數(shù)據(jù)集（例如ImageNet），將每個(gè)圖像視為一個(gè)單獨(dú)的類別，并訓(xùn)練模型來對(duì)單個(gè)圖像進(jìn)行分類，這要求模型記憶每個(gè)圖像。分類損失反映了每個(gè)實(shí)例被記憶的程度，因此反映了模型的容量。對(duì)于訓(xùn)練損失，作者報(bào)告了在ImageNet-1k的訓(xùn)練集上的分類損失，對(duì)于DINOv2和OpenCLIP。較低的損失意味著模型更好地適應(yīng)訓(xùn)練數(shù)據(jù)，這暗示了更大的模型容量。結(jié)果如表3所示。對(duì)于實(shí)例記憶，可以看到具有S2縮放（224^2和448^2）的ViT-B與ViT-L具有相似的損失。對(duì)于ImageNet分類，對(duì)于OpenCLIP，ViT-B-S2的訓(xùn)練損失與ViT-L相似，而對(duì)于DINOv2，其損失甚至更低。這些結(jié)果表明，多尺度較小的模型至少具有與較大模型相當(dāng)?shù)哪Ｐ腿萘?。使用S2進(jìn)行預(yù)訓(xùn)練可以使較小的模型更好。作者評(píng)估了基于S2縮放的基礎(chǔ)模型在預(yù)訓(xùn)練期間或預(yù)訓(xùn)練后的ImageNet分類。在ImageNet-21k上對(duì)模型進(jìn)行預(yù)訓(xùn)練，使用ViT圖像分類或DINOv2作為預(yù)訓(xùn)練目標(biāo)。作者比較了在預(yù)訓(xùn)練期間使用或不使用S2的模型，以及在單尺度基礎(chǔ)模型和大型模型之間的差異。結(jié)果如表4所示?？梢钥吹?，當(dāng)基礎(chǔ)模型使用單一圖像尺度進(jìn)行訓(xùn)練，并且僅在預(yù)訓(xùn)練后才擴(kuò)展到多個(gè)圖像尺度時(shí)，它們的性能與大型模型相比是次優(yōu)的。然而，當(dāng)將S2縮放加入到預(yù)訓(xùn)練中時(shí)，多尺度基礎(chǔ)模型能夠在ViT上勝過大型模型。對(duì)于DINOv2，預(yù)先使用S2進(jìn)行訓(xùn)練的基礎(chǔ)模型的性能明顯優(yōu)于沒有S2進(jìn)行預(yù)訓(xùn)練的基礎(chǔ)模型，并且與大型模型更具可比性。盡管仍然略遜于大型模型，但使用S2預(yù)訓(xùn)練大型模型可能會(huì)產(chǎn)生更好的縮放曲線。證明了使用S2預(yù)先訓(xùn)練的較小模型可以匹敵較大模型的優(yōu)勢(shì)。

7. 討論 & 未來工作

在這項(xiàng)工作中，作者提出了一個(gè)問題：對(duì)于更好的視覺理解，總是需要一個(gè)更大的模型嗎？ 作者發(fā)現(xiàn)，在圖像規(guī)模的維度上進(jìn)行縮放（稱之為尺度縮放，S2），而不是模型大小通?？梢栽趶V泛的下游任務(wù)中獲得更好的性能。作者進(jìn)一步展示，具有S2的較小模型可以學(xué)習(xí)到較大模型學(xué)到的大部分內(nèi)容，并且對(duì)于較小模型進(jìn)行S2預(yù)訓(xùn)練可以匹配較大模型的優(yōu)勢(shì)，甚至表現(xiàn)更好。

S2對(duì)未來工作有一些影響，包括（i）尺度選擇性處理，即，并不是圖像中每個(gè)位置的每個(gè)尺度都包含同樣有用的特征，根據(jù)圖像內(nèi)容和高級(jí)任務(wù)，為每個(gè)區(qū)域選擇處理某些尺度會(huì)更加高效，這類似于人類視覺注意力中的自下而上和自上而下的選擇機(jī)制，（ii）單個(gè)圖像的并行處理，即，與常規(guī)的ViT相比，在S2中每個(gè)子圖像都是獨(dú)立處理的，這使得單個(gè)圖像的不同子圖像可以并行處理，這對(duì)于處理單個(gè)大圖像的延遲至關(guān)重要的情景特別有幫助。

對(duì)更多實(shí)驗(yàn)結(jié)果和文章細(xì)節(jié)感興趣的讀者，可以閱讀一下論文原文~

審核編輯：黃飛

?