LeCun世界模型首項(xiàng)研究來了：自監(jiān)督視覺，已開源

讓 AI 像人類一樣學(xué)習(xí)和推理，這是人工智能邁向人類智能的重要一步。圖靈獎(jiǎng)得主 Yann LeCun 曾提出自監(jiān)督 + 世界模型的解決方案，如今終于有了第一個(gè)實(shí)實(shí)在在的視覺模型。

去年初，Meta 首席 AI 科學(xué)家 Yann LeCun 針對(duì)「如何才能打造出接近人類水平的 AI」提出了全新的思路。他勾勒出了構(gòu)建人類水平 AI 的另一種愿景，指出學(xué)習(xí)世界模型（即世界如何運(yùn)作的內(nèi)部模型）的能力或許是關(guān)鍵。這種學(xué)到世界運(yùn)作方式內(nèi)部模型的機(jī)器可以更快地學(xué)習(xí)、規(guī)劃完成復(fù)雜的任務(wù)，并輕松適應(yīng)不熟悉的情況。

LeCun 認(rèn)為，構(gòu)造自主 AI 需要預(yù)測(cè)世界模型，而世界模型必須能夠執(zhí)行多模態(tài)預(yù)測(cè)，對(duì)應(yīng)的解決方案是一種叫做分層 JEPA（聯(lián)合嵌入預(yù)測(cè)架構(gòu)）的架構(gòu)。該架構(gòu)可以通過堆疊的方式進(jìn)行更抽象、更長(zhǎng)期的預(yù)測(cè)。

6 月 9 日，在 2023 北京智源大會(huì)開幕式的 keynote 演講中，LeCun 又再次講解了世界模型的概念，他認(rèn)為基于自監(jiān)督的語(yǔ)言模型無法獲得關(guān)于真實(shí)世界的知識(shí)，這些模型在本質(zhì)上是不可控的。

今日，Meta 推出了首個(gè)基于 LeCun 世界模型概念的 AI 模型。該模型名為圖像聯(lián)合嵌入預(yù)測(cè)架構(gòu)（Image Joint Embedding Predictive Architecture, I-JEPA），它通過創(chuàng)建外部世界的內(nèi)部模型來學(xué)習(xí)， 比較圖像的抽象表示（而不是比較像素本身）。

I-JEPA 在多項(xiàng)計(jì)算機(jī)視覺任務(wù)上取得非常不錯(cuò)的效果，并且計(jì)算效率遠(yuǎn)高于其他廣泛使用的計(jì)算機(jī)視覺模型。此外 I-JEPA 學(xué)得的表示也可以用于很多不同的應(yīng)用，無需進(jìn)行大量微調(diào)。

舉個(gè)例子，Meta 在 72 小時(shí)內(nèi)使用 16 塊 A100 GPU 訓(xùn)練了一個(gè) 632M 參數(shù)的視覺 transformer 模型，還在 ImageNet 上實(shí)現(xiàn)了 low-shot 分類的 SOTA 性能，其中每個(gè)類只有 12 個(gè)標(biāo)簽樣本。其他方法通常需要 2 到 10 倍的 GPU 小時(shí)數(shù)，并在使用相同數(shù)據(jù)量訓(xùn)練時(shí)誤差率更高。

相關(guān)的論文《Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture》已被 CVPR 2023 接收。當(dāng)然，所有的訓(xùn)練代碼和模型檢查點(diǎn)都將開源。

論文地址：https://arxiv.org/pdf/2301.08243.pdfGitHub

地址：https://t.co/DgS9XiwnMz

通過自監(jiān)督學(xué)習(xí)獲取常識(shí)型知識(shí)

I-JEPA 基于一個(gè)事實(shí)，即人類僅通過被動(dòng)觀察就可以了解關(guān)于世界的大量背景知識(shí)，這些常識(shí)信息被認(rèn)為是實(shí)現(xiàn)智能行為的關(guān)鍵。

通常，AI 研究人員會(huì)設(shè)計(jì)學(xué)習(xí)算法來捕獲現(xiàn)實(shí)世界的常識(shí)，并將其編碼為算法可訪問的數(shù)字表征。為了高效，這些表征需要以自監(jiān)督的方式來學(xué)習(xí)，即直接從圖像或聲音等未標(biāo)記的數(shù)據(jù)中學(xué)習(xí)，而不是從手動(dòng)標(biāo)記的數(shù)據(jù)集中學(xué)習(xí)。

在高層級(jí)上，JEPA 的一個(gè)輸入中某個(gè)部分的表征是根據(jù)其他部分的表征來預(yù)測(cè)的。同時(shí)，通過在高抽象層次上預(yù)測(cè)表征而不是直接預(yù)測(cè)像素值，JEPA 能夠直接學(xué)習(xí)有用的表征，同時(shí)避免了生成模型的局限性。

相比之下，生成模型會(huì)通過刪除或扭曲模型輸入的部分內(nèi)容來學(xué)習(xí)。然而，生成模型的一個(gè)顯著缺點(diǎn)是模型試圖填補(bǔ)每一點(diǎn)缺失的信息，即使現(xiàn)實(shí)世界本質(zhì)上是不可預(yù)測(cè)的。因此，生成模型過于關(guān)注不相關(guān)的細(xì)節(jié)，而不是捕捉高級(jí)可預(yù)測(cè)的概念。

自監(jiān)督學(xué)習(xí)的通用架構(gòu)，其中系統(tǒng)學(xué)習(xí)捕獲其輸入之間的關(guān)系。

邁向能力廣泛的 JEPA 的第一步

I-JEPA 的核心思路是以更類似于人類理解的抽象表征來預(yù)測(cè)缺失信息。與在像素 /token 空間中進(jìn)行預(yù)測(cè)的生成方法相比，I-JEPA 使用抽象的預(yù)測(cè)目標(biāo)，潛在地消除了不必要的像素級(jí)細(xì)節(jié)，從而使模型學(xué)習(xí)更多語(yǔ)義特征。

另一個(gè)引導(dǎo) I-JEPA 產(chǎn)生語(yǔ)義表征的核心設(shè)計(jì)是多塊掩碼策略。該研究使用信息豐富的上下文來預(yù)測(cè)包含語(yǔ)義信息的塊，并表明這是非常必要的。

I-JEPA 使用單個(gè)上下文塊來預(yù)測(cè)源自同一圖像的各種目標(biāo)塊的表征。

I-JEPA 中的預(yù)測(cè)器可以看作是一個(gè)原始的（和受限的）世界模型，它能夠從部分可觀察的上下文中模擬靜態(tài)圖像中的空間不確定性。更重要的是，這個(gè)世界模型是語(yǔ)義級(jí)的，因?yàn)樗A(yù)測(cè)圖像中不可見區(qū)域的高級(jí)信息，而不是像素級(jí)細(xì)節(jié)。

預(yù)測(cè)器如何學(xué)習(xí)建模世界的語(yǔ)義。對(duì)于每張圖像，藍(lán)框外的部分被編碼并作為上下文提供給預(yù)測(cè)器。然后預(yù)測(cè)器輸出它期望在藍(lán)框內(nèi)區(qū)域的表示。為了可視化預(yù)測(cè)，Meta 訓(xùn)練了一個(gè)生成模型， 它生成了由預(yù)測(cè)輸出表示的內(nèi)容草圖，并在藍(lán)框內(nèi)顯示樣本輸出。很明顯，預(yù)測(cè)器識(shí)別出了應(yīng)該填充哪些部分的語(yǔ)義（如狗的頭部、鳥的腿、狼的前肢、建筑物的另一側(cè)）。

為了理解模型捕獲的內(nèi)容，Meta 訓(xùn)練了一個(gè)隨機(jī)解碼器，將 I-JEPA 預(yù)測(cè)的表示映射回像素空間，這展示出了探針操作后在藍(lán)框中進(jìn)行預(yù)測(cè)時(shí)的模型輸出。這種定性評(píng)估表明，I-JEPA 正確捕獲了位置不確定性，并生成了具有正確姿態(tài)的高級(jí)對(duì)象部分（如狗的頭部、狼的前肢）。

簡(jiǎn)而言之，I-JEPA 能夠?qū)W習(xí)對(duì)象部分的高級(jí)表示，而不會(huì)丟棄它們?cè)趫D像中的局部位置信息。

高效率、強(qiáng)性能

I-JEPA 預(yù)訓(xùn)練在計(jì)算上也很高效，在使用更多計(jì)算密集型數(shù)據(jù)增強(qiáng)來生成多個(gè)視圖時(shí)不會(huì)產(chǎn)生任何開銷。目標(biāo)編碼器只需要處理圖像的一個(gè)視圖，上下文編碼器只需要處理上下文塊。

實(shí)驗(yàn)發(fā)現(xiàn)，I-JEPA 在不使用手動(dòng)視圖增強(qiáng)的情況下學(xué)習(xí)了強(qiáng)大的現(xiàn)成語(yǔ)義表示，具體可見下圖。此外 I-JEPA 還在 ImageNet-1K 線性探針和半監(jiān)督評(píng)估上優(yōu)于像素和 token 重建方法。

ImageNet-1k 數(shù)據(jù)集上的線性評(píng)估。

I-JEPA 還能與以往在語(yǔ)義任務(wù)上依賴手動(dòng)數(shù)據(jù)增強(qiáng)的方法競(jìng)爭(zhēng)。相比之下，I-JEPA 在對(duì)象計(jì)數(shù)和深度預(yù)測(cè)等低級(jí)視覺任務(wù)上取得了更好的性能。通過使用較小剛性歸納偏置的更簡(jiǎn)單模型，I-JEPA 適用于更廣泛的任務(wù)集合。

low shot 分類準(zhǔn)確性：使用 1% 標(biāo)簽時(shí) ImageNet-1k 上的半監(jiān)督評(píng)估結(jié)果（每類只有 12 張標(biāo)簽圖像）。

AI 智能向人類水平更近了一步

I-JEPA 展示了無需通過手動(dòng)圖像變換來編碼額外知識(shí)時(shí)，學(xué)習(xí)有競(jìng)爭(zhēng)力的現(xiàn)成圖像表示的潛力。繼續(xù)推進(jìn) JEPA 以從更豐富模態(tài)中學(xué)習(xí)更通用世界模型將變得特別有趣，比如人們從一個(gè)短上下文中對(duì)視頻中的將來事件做出長(zhǎng)期空間和時(shí)間預(yù)測(cè)，并利用音頻或文本 prompt 對(duì)這些預(yù)測(cè)進(jìn)行調(diào)整。

Meta 希望將 JEPA 方法擴(kuò)展到其他領(lǐng)域，比如圖像 - 文本配對(duì)數(shù)據(jù)和視頻數(shù)據(jù)。未來，JEPA 模型可以在視頻理解等任務(wù)中得到應(yīng)用。這是應(yīng)用和擴(kuò)展自監(jiān)督方法來學(xué)習(xí)更通用世界模型的重要一步。