OpenAI提出了一種方法，能夠為復(fù)雜任務(wù)生成訓(xùn)練信號

編者按：很多現(xiàn)實中的任務(wù)都有著復(fù)雜的目標或者很難詳細表述出的目標，這就很難衡量機器在此任務(wù)上的表現(xiàn)結(jié)果。其中一種解決辦法是，人類通過演示或判斷提供訓(xùn)練信號，但是這種方法在復(fù)雜情況下很容易失效。現(xiàn)在，OpenAI提出了一種方法，能夠為復(fù)雜任務(wù)生成訓(xùn)練信號。以下是論智對原文的編譯。

我們提出的技術(shù)稱作迭代擴增（iterated amplification），它能讓我們清楚的了解超越了人類能力的復(fù)雜行為和目標。與提供標簽數(shù)據(jù)或獎勵函數(shù)不同，我們的方法是將一個任務(wù)分解成多個更簡單的小任務(wù)。盡管這一想法還處在初級階段，而且一直在簡單的游戲算法中進行了實驗，不過我們還是決定分享出它的初期狀態(tài)，因為我們認為它將是保證AI安全非常有用的方法。

論文地址：arxiv.org/abs/1810.08575

如果我們想訓(xùn)練一個機器學(xué)習(xí)系統(tǒng)執(zhí)行任務(wù)，就需要一個訓(xùn)練信號，這是一種衡量系統(tǒng)表現(xiàn)的方法，從而能幫助它更好地學(xué)習(xí)。例如，監(jiān)督學(xué)習(xí)中的標簽或強化學(xué)習(xí)中的獎勵都可以看作訓(xùn)練信號。機器學(xué)習(xí)的組織規(guī)則通常假設(shè)一種訓(xùn)練信號已經(jīng)有現(xiàn)成的了，我們應(yīng)該關(guān)注從中學(xué)習(xí)，但是事實上，訓(xùn)練信號必須從別處得到。如果沒有訓(xùn)練信號，就無法學(xué)習(xí)任務(wù)。如果得到了錯誤的訓(xùn)練信號，就會得到錯誤、甚至危險的行為。所以，提高生成訓(xùn)練信號的能力對學(xué)習(xí)新任務(wù)和AI安全性都是有利的。

目前我們是如何生成訓(xùn)練信號的呢？有時，我們想實現(xiàn)的目標可以用算法進行評估，例如在圍棋比賽中計算得分或者是否成功得到了一定的分數(shù)。大多數(shù)現(xiàn)實任務(wù)都不適合算法訓(xùn)練信號，但是通常我們可以通過人類執(zhí)行任務(wù)或判斷AI的性能獲得訓(xùn)練信號。但是大多數(shù)任務(wù)都很復(fù)雜，人類無法進行判斷或很好地執(zhí)行，它們可能具有復(fù)雜的轉(zhuǎn)接系統(tǒng)或者有多種安全問題。

迭代擴增就是為第二種類型的任務(wù)設(shè)計的生成訓(xùn)練信號的方法。換句話說，雖然人類不能直接進行全部任務(wù)，但是我們假設(shè)他可以清楚地辨別某種任務(wù)中的各種組成部分。例如，在計算機的網(wǎng)絡(luò)案例中，人類可以將“保護服務(wù)器和路由器”的任務(wù)分解成“了解服務(wù)器受到的攻擊”、“了解路由器受到的攻擊”以及“這兩種攻擊如何交互”。另外，我們假設(shè)人類可以完成任務(wù)的一些很小實例，例如“辨別日志文件中可疑的特定代碼”。如果這些可以實現(xiàn)，那么我們就能通過人類在小任務(wù)上的訓(xùn)練信號搭建大型任務(wù)的訓(xùn)練信號。

在我們實施迭代擴增的過程中，我們首先對小的子任務(wù)進行采樣，訓(xùn)練AI系統(tǒng)模擬人類示范完成任務(wù)。之后，我們開始收集稍大型的任務(wù)，解決的方法是先讓人們將其分為小部分，經(jīng)過訓(xùn)練的AI就能解決這些小問題。這種方法常用于稍困難的任務(wù)中，其中加入了人類的幫助，作為訓(xùn)練信號來訓(xùn)練AI系統(tǒng)解決多層任務(wù)。之后在解決更復(fù)雜的任務(wù)時，重復(fù)搭建這樣的訓(xùn)練模型即可。如果這一過程可行，最終就能生成一個完全自動的解決復(fù)雜任務(wù)的系統(tǒng)，不論初期是否有直接的訓(xùn)練信號。這一過程有點像AlphaGo Zero中使用的expert iteration，只不過expert iteration是對現(xiàn)有的訓(xùn)練信號進行強化，而我們的iterated amplification是從零創(chuàng)造訓(xùn)練信號。它還類似于最近的幾種學(xué)習(xí)算法，例如在測試時利用問題分解解決某個任務(wù)，但是不同的是它是在沒有先驗訓(xùn)練信號的情況下操作的。

實驗

基于此前研究AI辯論的經(jīng)驗，我們認為直接處理超越人類尺度的任務(wù)對一個原型項目來說太難了。同時，利用人類的實際行為作為訓(xùn)練信號也比較復(fù)雜，所以我們還沒有解決這一點。在我們的第一個實驗中，我們嘗試擴大一個算法訓(xùn)練信號，來證明iterated amplification可以在這一簡單的設(shè)置上工作。我們同樣將注意力限制在監(jiān)督學(xué)習(xí)上。

我們在五個不同的玩具算法任務(wù)中測試了這種方法，這些任務(wù)都有直接的算法解決方案，但我們假裝不知道（例如，尋找圖中兩點之間的最短路線），不過，若想把每個片段手動組合起來就需要大量精力。我們使用迭代擴增來學(xué)習(xí)只使用片段作為訓(xùn)練信號的直接算法，從而模擬人類知道如何組合解決方法片段、但沒有直接的訓(xùn)練信號的情況。

在這五個任務(wù)中（排列供電、順序分配、通配符搜索、最短路徑查詢以及聯(lián)合查找），結(jié)果與直接通過監(jiān)督學(xué)習(xí)解決的任務(wù)表現(xiàn)相當(dāng)。

擴增方法和此前對AI安全的辯論研究有很多相似特征。和辯論相似的是，它也是訓(xùn)練模型在人類無法完成的任務(wù)上直接執(zhí)行或判斷，通過迭代過程讓人類提供間接的監(jiān)督，不過具體方法并不相同。未來，我們會加入人類的反饋機制。