OpenAI的研究人員開發(fā)了一套基于能量的神經(jīng)網(wǎng)絡(luò)模型

OpenAI的研究人員開發(fā)了一套基于能量的神經(jīng)網(wǎng)絡(luò)模型，可以快速學(xué)會識別并生成關(guān)于概念的實(shí)例，比如附近、上方、之間、最近、最遠(yuǎn)等，并將這些概念用2D點(diǎn)集來表示。模型可以僅在5次演示之后就學(xué)會這類概念，并實(shí)現(xiàn)了跨領(lǐng)域的概念遷移。

衡量是否達(dá)到人類智能，涉及由有限的經(jīng)驗(yàn)，通過抽象推理和規(guī)劃、類比推理、創(chuàng)造性問題解決和語言能力的概括，從而將經(jīng)驗(yàn)整合到概念中，將概念作為理解和推理的基本架構(gòu)。

這款基于能量的新模型，讓智能體能夠從任務(wù)中學(xué)習(xí)和提取概念，并使用這些概念來解決多個領(lǐng)域中的其他任務(wù)。比如可以在2D粒子環(huán)境中應(yīng)用的學(xué)習(xí)概念，然后在基于3D的機(jī)器人環(huán)境中執(zhí)行相同的任務(wù)，無需在新環(huán)境中重新訓(xùn)練。

通過基于能量的模型訓(xùn)練的模擬機(jī)器人，利用不同2D域中學(xué)習(xí)到的概念，將手臂導(dǎo)航至兩點(diǎn)之間

本研究利用能量函數(shù)，讓智能體學(xué)習(xí)分類和生成簡單的概念，來解決在不同環(huán)境中的兩點(diǎn)之間導(dǎo)航等任務(wù)。這些概念包括視覺概念（“紅色”、“正方形”）、空間概念（“內(nèi)部”、“在...之上”）、時間概念（“慢”、“之后”），社會概念（“積極”、“有用”）等等。

一旦智能體學(xué)會了這些概念，就會成為其理解和推理的基本模塊，最近DeepMind和 Vicarious的一些其他研究也表明了這一點(diǎn)。

能量函數(shù)讓系統(tǒng)可以生成（左）并識別（右）基本概念，比如“正方形”的概念。

構(gòu)建能量函數(shù)：基于關(guān)系網(wǎng)絡(luò)體系結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)

為了創(chuàng)建能量函數(shù)，需要在數(shù)學(xué)上將概念表示為能量模型。

我們根據(jù)以下要素來定義每個概念的能量函數(shù) E（x，a，w）：

模型觀察到的世界狀態(tài)（x）

該狀態(tài)下該實(shí)體的注意力掩膜（a）。

作為條件的連續(xù)值向量（w），用于指定計(jì)算能量的概念

世界上的眾多狀態(tài)由多組實(shí)體及其屬性和位置組成（比如下面的點(diǎn)，就具有位置和顏色屬性）。用于“識別”的注意力掩膜表示模型對某些實(shí)體集的關(guān)注。

能量模型輸出單個正數(shù)，表示滿足相應(yīng)概念（零能量）或不滿足概念（高能量）。當(dāng)注意力掩模集中在表示概念的一組實(shí)體上時，該概念即被滿足，這需要實(shí)體處于正確的位置（修改x、生成概念），而且注意力掩膜關(guān)注的是正確的實(shí)體（修改a、識別概念）。

我們將能量函數(shù)構(gòu)建為基于關(guān)系網(wǎng)絡(luò)體系結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，允許其將任意數(shù)量的實(shí)體作為輸入。這個能量函數(shù)的參數(shù)是由我們的訓(xùn)練程序進(jìn)行優(yōu)化的，其他函數(shù)是從能量函數(shù)中隱式導(dǎo)出的。

這樣，我們能夠使用能量函數(shù)來學(xué)習(xí)可以執(zhí)行生成和識別的單個網(wǎng)絡(luò)，并可以交叉使用從生成到識別的學(xué)習(xí)概念，反之亦然。（目前已經(jīng)通過鏡像神經(jīng)元在動物身上觀察到了這種效應(yīng)。）

單一網(wǎng)絡(luò)的訓(xùn)練

訓(xùn)練數(shù)據(jù)由（注意掩膜、狀態(tài)）的軌跡組成，提前生成的軌跡用于確認(rèn)我們希望模型學(xué)習(xí)的特定概念。我們?yōu)榻o定概念集提供一組演示（通常為5次）來訓(xùn)練模型，然后將模型置于一個新的環(huán)境（X0），并要求其預(yù)測下一個狀態(tài)（X1）和下一個注意力掩膜（a）。

優(yōu)化能量函數(shù)，向訓(xùn)練數(shù)據(jù)中找到的下一個狀態(tài)和下一個注意力掩模分配低能量值。與變分自動編碼器等生成模型類似，激勵模型去學(xué)習(xí)那些對于壓縮任務(wù)方面的有用值。我們使用各種概念來訓(xùn)練模型，包括視覺，空間，遠(yuǎn)近和時間關(guān)系，以及二維粒子環(huán)境中的量化。

空間區(qū)域概念：給出2D示例點(diǎn)（左），推斷該點(diǎn)上的能量函數(shù)（中間），然后使用能量上的隨機(jī)梯度下降來生成新的點(diǎn)（右）

模型在概念生成和識別訓(xùn)練中分享經(jīng)驗(yàn)，實(shí)現(xiàn)遷移學(xué)習(xí)

我們在一系列任務(wù)中對模型進(jìn)行了評估，旨在測試單一系統(tǒng)識別和生成相同概念下的目標(biāo)的能力，我們的系統(tǒng)可以學(xué)習(xí)分類，可以生成特定的空間關(guān)系集，還可以以特定方式通過場景對實(shí)體進(jìn)行導(dǎo)航，或者可以對數(shù)量（比如一個、兩個、三個或三個以上）或接近度等概念進(jìn)行比較準(zhǔn)確的判斷。

數(shù)量概念：示例注意力掩膜在一個、兩個、三個或三個以上的目標(biāo)上的表現(xiàn)，可推斷用于生成類似數(shù)量概念的注意力掩模

模型在學(xué)習(xí)概念的生成（通過在狀態(tài)向量x中移動目標(biāo)實(shí)現(xiàn)）和識別（通過在固定狀態(tài)向量上更改注意力掩膜實(shí)現(xiàn)）之間分享經(jīng)驗(yàn)時的表現(xiàn)更好：在我們對共同執(zhí)行這兩類任務(wù)的模型進(jìn)行評估時發(fā)現(xiàn)，它們的表現(xiàn)都比僅在各自執(zhí)行單一任務(wù)訓(xùn)練的模型更好。

此外，我們還發(fā)現(xiàn)了遷移學(xué)習(xí)的跡象。只在概念識別環(huán)境中訓(xùn)練過的能量函數(shù)，也能很好地執(zhí)行概念生成任務(wù)，即使其沒有經(jīng)過明確的訓(xùn)練。

未來方向：進(jìn)一步探索概念和語言理解的關(guān)系

我們很高興能夠在更豐富的三維環(huán)境中學(xué)到的更廣泛的概念，將概念與智能體決策策略相結(jié)合（因?yàn)榈侥壳盀橹?，我們只是將概念視為從被動體驗(yàn)中學(xué)到的東西），并探索概念和語言理解之間的聯(lián)系。