美國國防部有關(guān)人工智能的現(xiàn)狀

美國國防部有關(guān)人工智能的現(xiàn)狀

本文摘自《蘭德報告《美國防部對人工智能態(tài)勢分析報告》》| 遠(yuǎn)望譯品

本章將介紹與DoD相關(guān)的AI狀態(tài)評估。在此過程中，根據(jù)員工指南（見第一章）解決了一些常見的誤解，并設(shè)定了切合實(shí)際的期望。由于對什么是AI的不同看法可能會引起相當(dāng)大的混亂，首先考慮AI是什么的問題，以及DoD是否會從一個統(tǒng)一的、DoD范圍的AI定義中受益；然后提出了一個概念框架，列出了在思考AI及其與DoD獨(dú)特任務(wù)和需求的相關(guān)性時應(yīng)考慮的維度；最后為決策者總結(jié)了其需要了解的關(guān)于這個概念框架內(nèi)AI狀態(tài)的內(nèi)容，同時根據(jù)工作人員的指導(dǎo)（見第一章）將討論保持在高水平（“高于項(xiàng)目水平”）。

1 如何定義人工智能？

AI的定義超出了本研究范圍。但還是想了解受訪者是如何對該術(shù)語進(jìn)行概念化的，以及他們是否認(rèn)為在確定AI的廣泛定義時有價值。在聯(lián)邦、行業(yè)和學(xué)術(shù)受訪者中聽到了關(guān)于這兩個問題的不同意見，并未達(dá)成共識（見附錄E“受訪者意見”一節(jié)）。本研究還收集了一些公開的（官方）AI定義（見附錄E中的“現(xiàn)有定義”一節(jié)），并注意到類似的缺乏一致性。事實(shí)上，AI一詞首次出現(xiàn)后，如何定義AI的問題持續(xù)了幾十年。

總的來說，設(shè)計一個好的AI定義是一個挑戰(zhàn)。根據(jù)高層次的理想目標(biāo)（例如，“思考的機(jī)器”或“執(zhí)行通常需要人類智能的任務(wù)的計算機(jī)”）定義AI很簡單，但沒有任何實(shí)際用途，例如幫助DoD描述和評估其AI投資，或闡明和評估其AI人才需求。同時還有副作用，那就是助長了AI的炒作。例如，到2018年，圖靈獎獲得者之一Yoshua Bengio指出：“我認(rèn)為如果商業(yè)世界出現(xiàn)調(diào)整，那將是一件好事，因?yàn)檫@就是炒作的所在?！崩锰囟夹g(shù)（例如“專家系統(tǒng)”或“深度學(xué)習(xí)[DL]”）來定義AI這是難以捉摸的，因?yàn)闅v史告訴我們，AI的構(gòu)成隨著時間和視角而發(fā)生重大變化；這一點(diǎn)在DARPA關(guān)于AI三次浪潮的觀點(diǎn)中有所說明（見附錄E“現(xiàn)有定義：DARPA”一節(jié)）。根據(jù)特定能力（例如，“圖像中的目標(biāo)識別”）定義AI同樣存在問題，因?yàn)榧夹g(shù)變革的速度很快，而且在預(yù)測技術(shù)進(jìn)步的速度和使用方面存在固有的困難，如案例研究所述（見附錄D中的“DoD的AI歷史”一節(jié)“抵消戰(zhàn)略”部分）。

盡管如此，DoD仍需要掌握其AI投資以及AI人才需求和可用性。要做到這一點(diǎn)，就需要在DoD內(nèi)部就上述每一個目的的AI劃分達(dá)成一些基本的協(xié)議，無論定義多么仔細(xì)，簡單地采用DoD廣泛的定義都不太可能達(dá)成這一協(xié)議。

2 DoD AI的概念框架

接下來，本報告提出一個概念框架，該框架與AI的精確定義無關(guān)，同時允許人們系統(tǒng)地思考技術(shù)和能力空間的復(fù)雜性、DoD AI應(yīng)用的范圍以及投資空間和投資時限（圖3.1）。更重要的是，該框架允許人們探索這三個要素之間的相互作用，這最終影響到DoD在開發(fā)或獲取AI技術(shù)以及擴(kuò)展其使用以支持其任務(wù)方面的成功，以及實(shí)現(xiàn)這一目標(biāo)的預(yù)期時間進(jìn)展。

該團(tuán)隊利用其成員的技術(shù)專長開發(fā)了這一概念框架，在中期進(jìn)度審查期間與贊助者和受訪者進(jìn)行溝通，從而提供反饋和改進(jìn)的機(jī)會。

圖1DoDAI的概念框架

2.1 技術(shù)和能力空間

概念框架中的第一個元素，即技術(shù)和能力空間，涵蓋了支撐當(dāng)前可用AI解決方案的理論結(jié)果和方法論方法—包括模型、算法和啟發(fā)式方法；技術(shù)和能力空間還涵蓋了這些AI解決方案支持的潛在能力。下一節(jié)將回顧這一領(lǐng)域的最新發(fā)展。

2.2 DoD AI應(yīng)用的范圍

概念框架中的第二個要素涵蓋了支持DoD任務(wù)的AI應(yīng)用范圍，這些應(yīng)用范圍和廣度都非常顯著。DoD內(nèi)AI的應(yīng)用范圍包括四個獨(dú)立因素：

(1) 對開發(fā)和部署AI解決方案的環(huán)境的控制程度；

(2) 相關(guān)資源的可用程度，包括數(shù)據(jù)集、計算能力和通信帶寬；

(3) AI算法處理信息和提供輸出的速度，從慢（小時或天）到實(shí)時；

(4) AI解決方案失敗的影響，以及發(fā)生此類故障時從中恢復(fù)的可能性。

DoD AI應(yīng)用范圍的這種特征與考慮開發(fā)AI解決方案和將方法論方法（即技術(shù)和能力空間）映射到潛在應(yīng)用或用例（即DoD AI應(yīng)用范圍）的技術(shù)專家相關(guān)。事實(shí)上，重要的是要認(rèn)識到這些因素將對AI解決方案的可行性及其預(yù)期開發(fā)時間進(jìn)展產(chǎn)生影響。例如，在不同操作環(huán)境和不同資源約束下正確識別圖像中的對象可能需要不同的技術(shù)方法：坐在五角大樓時，使用在可用標(biāo)記數(shù)據(jù)集（如ImageNet）上訓(xùn)練的算法識別從網(wǎng)絡(luò)下載的圖片中的貓，可能需要一種不同于從衛(wèi)星圖像實(shí)時識別戰(zhàn)場上的導(dǎo)彈發(fā)射器的方法。前者現(xiàn)在是可行的，而后者可能不可行。雖然這兩個應(yīng)用程序可能在用戶看來非常相似，但它們不一定與技術(shù)專家或操作員相似。

重點(diǎn)是對DoD AI應(yīng)用范圍的描述，以及這四個因素可以合理地映射到三大類AI應(yīng)用，特別是企業(yè)AI、任務(wù)支持AI和作戰(zhàn)AI，如以下段落所述。這樣做可以使決策者直觀地了解特征及其對政策制定、決策和現(xiàn)實(shí)預(yù)期設(shè)定的影響（圖3.2）。

企業(yè)AI指AI應(yīng)用程序，通常在美國境內(nèi)，系統(tǒng)開發(fā)和運(yùn)行的環(huán)境控制良好且相對良性；數(shù)據(jù)和基礎(chǔ)設(shè)施（存儲、計算、通信帶寬）等資源應(yīng)可用，或原則上可提供充足的資源；信息處理和決策的節(jié)奏相對寬松；如果發(fā)生故障，應(yīng)該可以在有限的持久損害下從故障中恢復(fù)。企業(yè)AI應(yīng)用程序的示例包括支持AI的財務(wù)或人事管理系統(tǒng)，或支持AI的服務(wù)人員醫(yī)療記錄管理。

圖2DoDAI應(yīng)用的范圍

另一端是稱之為作戰(zhàn)AI的應(yīng)用程序：在動態(tài)、不確定、對抗、部分不受控制的作戰(zhàn)環(huán)境中使用的AI解決方案，其中某些資源可能更加有限，信息處理和決策的速度預(yù)計會更快，故障的后果預(yù)計會更高。作戰(zhàn)AI的例子有愛國者導(dǎo)彈遠(yuǎn)程防空系統(tǒng)、宙斯盾戰(zhàn)斗系統(tǒng)和目前正在研制的Skyborg原型。

介于企業(yè)AI和作戰(zhàn)AI之間的是任務(wù)支持AI應(yīng)用程序，例如算法戰(zhàn)跨職能團(tuán)隊（Cross-Functional team, CFT），也稱為Maven項(xiàng)目；互聯(lián)網(wǎng)監(jiān)測系統(tǒng)；以及支持AI的物流規(guī)劃系統(tǒng)。特別是，Maven項(xiàng)目旨在使用ML來幫助人類分析無人機(jī)收集的全動態(tài)視頻數(shù)據(jù)中的大量圖像。雖然數(shù)據(jù)收集在戰(zhàn)區(qū)完成，但在美國處理數(shù)據(jù)。

需要強(qiáng)調(diào)的是，這三類AI應(yīng)用程序缺乏明確的界限。事實(shí)上，它們是簡化的結(jié)構(gòu)，使政策制定者和決策者更直觀地考慮DoD AI應(yīng)用的范圍。為強(qiáng)調(diào)這一點(diǎn)，在圖3.2中將這三個類別表示為具有模糊邊界的重疊圓。

2.3 投資空間和投資時限

概念框架的最后一個要素是投資空間和投資時限。需要各種投資來確保DoD適當(dāng)利用AI。投資對于開發(fā)或獲取能夠在DoD企業(yè)AI、任務(wù)支持AI和作戰(zhàn)AI范圍內(nèi)實(shí)現(xiàn)AI應(yīng)用的技術(shù)和能力顯然是必要的。除了這三種顯而易見的投資之外，至少還需要三種其他投資才能大規(guī)模推進(jìn)和采用AI。

首先是對一系列技術(shù)和其他配套支持的投資，包括存儲、計算和通信基礎(chǔ)設(shè)施；數(shù)據(jù)收集和管理工作；集成開發(fā)、安全和運(yùn)營團(tuán)隊的安全開發(fā)運(yùn)營（SecDevOps）環(huán)境；快速、持續(xù)集成的過程；以及對用戶和操作員的培訓(xùn)。

其次是支持和實(shí)現(xiàn)技術(shù)制衡的投資，包括AI技術(shù)的驗(yàn)證和確認(rèn)（V&V）以及AI解決方案研究、開發(fā)和部署階段及其整個生命周期內(nèi)的某種形式的測試和評估（T&E）。

此外，對與特定產(chǎn)品或應(yīng)用（研究、開發(fā)、測試和評估[RDT&E]預(yù)算類別6.1，有時為6.2）無關(guān)的基礎(chǔ)研究的投資對于確?？茖W(xué)進(jìn)步的蓬勃發(fā)展和長期保持技術(shù)優(yōu)勢非常重要。例如，在2018年計算圖靈獎三位獲獎?wù)吆现?015年論文中，作者指出，“在20世紀(jì)90年代末，神經(jīng)網(wǎng)絡(luò)和反向傳播基本上被機(jī)器學(xué)習(xí)界拋棄，被計算機(jī)視覺和語音識別界忽視?！贝送?，“2006年左右，由加拿大高級研究所（CIFAR）召集的一組研究人員重新激發(fā)了人們對深度前饋網(wǎng)絡(luò)的興趣?！爆F(xiàn)在見證了這一復(fù)興的成果，DL在各個領(lǐng)域取得了重大進(jìn)展（見下一節(jié)）。需要注意的是基礎(chǔ)研究方面的此類投資不必完全在DoD賬戶中，還可以利用其他聯(lián)邦來源，如國家科學(xué)基金會（NSF）。

報告希望結(jié)合投資維度強(qiáng)調(diào)的最后一個關(guān)鍵因素是投資時限。投資時限對于設(shè)定宏偉但現(xiàn)實(shí)的目標(biāo)和期望非常重要。為了簡單起見，并符合從行業(yè)訪談中收集的戰(zhàn)略制定最佳實(shí)踐（見附錄C“工業(yè)界：組織”一節(jié)），以五年為時間窗口，代表短期（最多五年）、中期（五至十年）和長期（超過十年）來討論投資時限。

3 決策者應(yīng)該了解哪些與DoD相關(guān)的AI現(xiàn)狀

在闡述了DoD AI的概念框架之后，在此介紹了與DoD有關(guān)的AI進(jìn)展態(tài)勢的評估，特別側(cè)重于回答與決策者相關(guān)的以下三個主要問題：

1. AI近期有哪些突出的發(fā)展？

2. 這些最新的AI發(fā)展將如何增強(qiáng)DoD的任務(wù)，以及如何在DoD應(yīng)用程序中擴(kuò)展它們？

3. 前兩個問題的答案對DoD規(guī)劃意味著什么？

第一個問題的答案有效地總結(jié)了概念框架中與技術(shù)和能力要素相關(guān)的最新技術(shù)；第二個問題的答案有效地將技術(shù)和能力空間與高層次的AI應(yīng)用范圍聯(lián)系起來：根據(jù)贊助商和國會工作人員的指導(dǎo)（見第一章），并未試圖深入挖掘潛在用例；最后，第三個問題的答案提供了一些指導(dǎo)方針，以宏偉但切合實(shí)際的設(shè)定DoD AI投資及其預(yù)期回報的目標(biāo)和期望。

本報告的評估基于三個來源的綜合，特別是在采訪學(xué)術(shù)界、工業(yè)界、DoD和其他聯(lián)邦政府部門和機(jī)構(gòu)的技術(shù)受訪者時收集的證據(jù)；相關(guān)技術(shù)文獻(xiàn)的咨詢；以及研究團(tuán)隊的技術(shù)專業(yè)知識。

3.1 AI技術(shù)和能力的最新發(fā)展

許多不同的技術(shù)方法支持AI，包括ML，一個計算機(jī)科學(xué)（computer science, CS）的既定領(lǐng)域由一系列技術(shù)組成，這些技術(shù)在統(tǒng)計和優(yōu)化方面具有強(qiáng)大的根基，可以讓人們發(fā)現(xiàn)數(shù)據(jù)中的模式。在過去十年中，ML的某些子領(lǐng)域，特別是DL的技術(shù)進(jìn)步速度非常顯著。DL采用多層神經(jīng)網(wǎng)絡(luò)模型來學(xué)習(xí)復(fù)雜數(shù)據(jù)的表示數(shù)據(jù)。此類算法的設(shè)計和部署通常包括一個訓(xùn)練階段，該階段涉及根據(jù)某種學(xué)習(xí)標(biāo)準(zhǔn)解決優(yōu)化問題以使模型與訓(xùn)練數(shù)據(jù)最佳匹配，以及一個推理階段，在該階段中，訓(xùn)練模型用于在新數(shù)據(jù)中發(fā)現(xiàn)相似模式。由于這些模型的復(fù)雜性，訓(xùn)練階段通常需要大量的標(biāo)記數(shù)據(jù)集和廣泛的計算能力，而推理階段所需的計算能力要低得多。通常，這不是一個線性的一次性過程（訓(xùn)練，然后推理）而是一系列的訓(xùn)練和推理階段，以提高甚至保持算法的性能。

這些進(jìn)步的最終結(jié)果是監(jiān)督ML的巨大進(jìn)步（這里的監(jiān)督是指使用標(biāo)記數(shù)據(jù)集來訓(xùn)練模型），從而在涉及分類和預(yù)測的任務(wù)方面取得突破性進(jìn)展。由于基于ImageNet數(shù)據(jù)集的ImageNet大規(guī)模視覺識別競賽，圖像分類示例可能是公眾最容易看到的。除了圖像處理之外，這些進(jìn)步還在語音處理和自然語言處理中長期存在的問題上取得了重大突破，隨后在機(jī)器翻譯和文檔分類等方面得到應(yīng)用。

最新進(jìn)展的另一個突出方向是深度強(qiáng)化學(xué)習(xí)（deep reinforcement learning, DRL）。強(qiáng)化學(xué)習(xí)（reinforcement learning, RL）是一個經(jīng)典的領(lǐng)域，其核心是以近似的方式解決具有延遲獎勵的的順序決策問題。由于DL技術(shù)有望獲得這些近似解，RL再次引起人們的興趣。

DRL帶來了戰(zhàn)略游戲的新突破。例如，這些算法最近在Go、shoji和實(shí)時戰(zhàn)略游戲《星際爭霸II》的游戲中擊敗了世界級冠軍。盡管這些發(fā)展令人興奮并大肆宣傳，明智的做法是注意到著名學(xué)者在評估這些事態(tài)發(fā)展的真正意義時所表達(dá)的謹(jǐn)慎態(tài)度。事實(shí)上，DRL算法的訓(xùn)練似乎是一個特別低效的過程，并且存在嚴(yán)重的再現(xiàn)性問題，導(dǎo)致人們對其在模擬和游戲之外的現(xiàn)實(shí)生活中的適用性產(chǎn)生了嚴(yán)重的質(zhì)疑。

3.2 在DoD應(yīng)用程序中擴(kuò)展近期的AI開發(fā)

鑒于上一節(jié)中描述的最新技術(shù)突破和進(jìn)展，需要提出的合理問題是：這些新進(jìn)展如何增強(qiáng)DoD的使命，以及如何在DoD范圍內(nèi)實(shí)現(xiàn)其規(guī)?；?/p>

這些問題的答案是，從技術(shù)角度來看，一些企業(yè)AI應(yīng)用程序目前對DoD來說是唾手可得的成果，大多數(shù)任務(wù)支持AI，特別是作戰(zhàn)AI仍然遙遙無期。此外，在利用和擴(kuò)展這些技術(shù)進(jìn)步方面存在著各種挑戰(zhàn)和風(fēng)險，這些技術(shù)進(jìn)步對企業(yè)、任務(wù)支持和作戰(zhàn)AI的表現(xiàn)各不相同。

在進(jìn)一步闡述之前，需要強(qiáng)調(diào)的是：通過提出這些問題，并不是在暗示AI只是DL或DRL。相反，正如前文所述，許多技術(shù)方法支持AI。

（1）企業(yè)AI

在許多方面，DoD的一些企業(yè)AI應(yīng)用與私營部門和公共領(lǐng)域的許多組織目前正在尋求的AI解決方案具有可比性（請參見附錄C中的“工業(yè)界：進(jìn)展和采用”一節(jié)）。因此，存在許多商業(yè)解決方案，它們的存在和相對成功證明，可以根據(jù)DoD的需要采用、定制或?qū)ｉT開發(fā)類似的技術(shù)解決方案。

盡管一些企業(yè)AI應(yīng)用程序的技術(shù)目前已經(jīng)存在且相對成熟，但這并不意味著跨組織擴(kuò)展企業(yè)AI沒有障礙和挑戰(zhàn)（參見附錄C中的“工業(yè)界：組織”一節(jié)）。相反，擴(kuò)展AI需要定期確定存在技術(shù)解決方案、可實(shí)施且將顯著改善組織的底線或其他關(guān)鍵目標(biāo)的投資領(lǐng)域并確定其優(yōu)先級。一旦確定了這些優(yōu)先領(lǐng)域，擴(kuò)展AI需要就這些解決方案的商業(yè)收購或內(nèi)部開發(fā)做出明智的決策，并且需要將長期積累的知識和訣竅制度化。它需要確保必要基礎(chǔ)設(shè)施的可用性，以支持這些解決方案。同時，擴(kuò)大規(guī)模需要激勵潛在的用戶群體采用它們，并提供所需的培訓(xùn)和技能再培訓(xùn)。它還需要技術(shù)的持續(xù)發(fā)展，正如許多受訪者所指出的，這使AI不同于傳統(tǒng)能力。最重要的是，擴(kuò)展AI需要通過系統(tǒng)地收集和管理數(shù)據(jù)、在組織內(nèi)共享數(shù)據(jù)以支持其目標(biāo)，以及在尋求商業(yè)解決方案時戰(zhàn)略性地保護(hù)數(shù)據(jù)權(quán)利來重視數(shù)據(jù)的關(guān)鍵資源。

此外，正如上一節(jié)所述，當(dāng)前的AI技術(shù)，特別是DL方法，嚴(yán)重依賴于大量干凈和標(biāo)記訓(xùn)練數(shù)據(jù)的可用性?？捎脭?shù)據(jù)的質(zhì)量和數(shù)量通常會影響解決給定問題的AI方法的選擇，以及應(yīng)用DL技術(shù)的可行性。更多的數(shù)據(jù)將支持更廣泛的潛在方法，但也需要基礎(chǔ)設(shè)施來支持?jǐn)?shù)據(jù)的存儲、治理和處理需求。特別是，在組織中大規(guī)模部署企業(yè)AI需要與負(fù)責(zé)數(shù)據(jù)和數(shù)據(jù)管理的組織實(shí)體（如CDO）以及負(fù)責(zé)存儲和計算基礎(chǔ)架構(gòu)的組織實(shí)體（如CIO）密切合作。它還需要與用戶（從首席分析官到個人用戶的多個層面）密切合作，以確保提出并回答最重要的問題（參見附錄C中的“工業(yè)界：進(jìn)展和采用”一節(jié)）。

AI工具通常以軟件的形式進(jìn)行數(shù)字化設(shè)計和實(shí)現(xiàn)。正因?yàn)槿绱?，AI的成功需要軟件方面的成功，盡管后者的成功遠(yuǎn)遠(yuǎn)不足以確保前者的成功。

（2）任務(wù)支持AI和作戰(zhàn)AI

前面總結(jié)的許多DL最新進(jìn)展，特別是那些集中在分類和預(yù)測方面的進(jìn)展，都有重要的DoD應(yīng)用前景，尤其是在任務(wù)支持AI方面。例如，DL最近在圖像目標(biāo)識別方面的成功使情報、監(jiān)視和偵察（intelligence, surveillance, and reconnaissance, ISR）成為任務(wù)支持AI的自然應(yīng)用。

然而，盡管有許多有前途的進(jìn)步和技術(shù)演示，但DL算法仍然脆弱，缺乏魯棒性，正如對抗性示例的普遍性和多樣性所證明的那樣。此外，它們引入了需要慎重考慮的新漏洞和攻擊面，最好是作為設(shè)計過程的一部分，而不是事后考慮。

此外，DL算法的設(shè)計目前針對商業(yè)用途而不是DoD用途進(jìn)行了優(yōu)化，DoD的用途以各種方式體現(xiàn)。首先，為商業(yè)應(yīng)用優(yōu)化的性能指標(biāo)通常與DoD的需求不一致。例如，在2018年12月向眾議院軍事委員會作證時，USD（R&E）的Lisa Porter指出，商業(yè)搜索應(yīng)用優(yōu)化了精確性而非召回率。這是一個技術(shù)方法的例子，原則上既有商業(yè)應(yīng)用，也有DoD應(yīng)用，但在實(shí)踐中，正如目前在商業(yè)世界中實(shí)施的那樣，優(yōu)化了與DoD應(yīng)用需求不一致的指標(biāo)。另一個例子是，所涉及的資源往往與DoD的需求不一致。在這一點(diǎn)上，以分類器算法為例，隨著數(shù)據(jù)及其屬性的變化，當(dāng)今商業(yè)使用的分類器算法需要隨著數(shù)據(jù)及其屬性的變化而重新訓(xùn)練，并且算法通常假設(shè)可以根據(jù)需要重新訓(xùn)練，從而返回到云。這種假設(shè)在作戰(zhàn)或任務(wù)支持AI應(yīng)用程序中可能無效。此外，大型訓(xùn)練數(shù)據(jù)集本身也可能缺乏戰(zhàn)場環(huán)境，使用合成數(shù)據(jù)的可行性還有待觀察。

DL技術(shù)在某種程度上仍然需要大量人工工作，因?yàn)樗鼈兺ǔＪ菫樘囟ǖ膽?yīng)用程序手工制作的，通常不容易推廣到其他應(yīng)用程序。正如一些技術(shù)受訪者所強(qiáng)調(diào)：在一個應(yīng)用程序上運(yùn)行良好的算法可能不會自動在另一個應(yīng)用程序上運(yùn)行良好（參見附錄C中的“工業(yè)界：進(jìn)展和采用”一節(jié)）。

（3）驗(yàn)證、確認(rèn)、測試和評估的關(guān)鍵挑戰(zhàn)

所有類型AI的一個關(guān)鍵挑戰(zhàn)—在任務(wù)支持和作戰(zhàn)人工智能中使用的安全關(guān)鍵系統(tǒng)中尤其嚴(yán)峻—是AI的V&V挑戰(zhàn)，以及與T&E配套的V&V。V&V使系統(tǒng)設(shè)計人員能夠信任其設(shè)計，T&E使管理者能夠評估系統(tǒng)是否滿足規(guī)定的要求，并使其余的利益相關(guān)者（如用戶和運(yùn)營商）對系統(tǒng)建立信任。

當(dāng)前，AI VVT&E的狀態(tài)無法確保AI應(yīng)用程序的性能和安全性，尤其是在涉及安全關(guān)鍵系統(tǒng)的情況下。安全關(guān)鍵控制系統(tǒng)的V&V是當(dāng)前的研究課題，通常涉及正式的數(shù)學(xué)分析或廣泛的仿真。前者雖然精美，但通常缺乏擴(kuò)展能力，后者在理論上很難讓人相信結(jié)果。兩者在其所代表的內(nèi)容方面也有固有的局限性，因此可能會錯過現(xiàn)實(shí)世界的關(guān)鍵元素，從而導(dǎo)致在現(xiàn)實(shí)世界操作過程中性能不佳或出現(xiàn)錯誤。ML和AI系統(tǒng)的V&V范圍更廣，其中一些可能涉及交互控制，而ML算法目前在很大程度上是未知領(lǐng)域。此外，ML和相關(guān)方法更加復(fù)雜，除了需要驗(yàn)證模型外，還需要驗(yàn)證訓(xùn)練數(shù)據(jù)。

作為V&V的一種實(shí)用替代方案，在幾次跨行業(yè)的采訪中提出了實(shí)時監(jiān)控的想法（見附錄C中的“工業(yè)界：進(jìn)展和采用”一節(jié)）。然而，實(shí)時監(jiān)控的使用本質(zhì)上是假設(shè)：（1）有能力及早發(fā)現(xiàn)問題何時出現(xiàn)；（2）發(fā)生的后果可控；（3）在發(fā)生這種情況時讓系統(tǒng)離線是一種選擇。這些假設(shè)可能不適用于DoD，特別是在任務(wù)支持和作戰(zhàn)AI方面。

3.3 這對DoD意味著什么？

在短期內(nèi)追求大規(guī)模企業(yè)AI是現(xiàn)實(shí)的，但需要從根本上將DoD的文化轉(zhuǎn)變?yōu)橹匾晹?shù)據(jù)并充分利用數(shù)據(jù)的數(shù)據(jù)驅(qū)動文化——這是一項(xiàng)巨大的努力，但可以全面提高效率，與DoD在2018 NDS總結(jié)中確定的國防目標(biāo)保持一致。這與許多受訪者所表達(dá)的信念一致，即規(guī)?；髽I(yè)AI需要領(lǐng)導(dǎo)層進(jìn)行大規(guī)模的組織變革和承諾，而不是漸進(jìn)式的變革。隨著相關(guān)技術(shù)的成熟，大規(guī)模開發(fā)企業(yè)AI將有助于DoD為任務(wù)支持和作戰(zhàn)AI的采用和規(guī)?；龊脺?zhǔn)備?？傊笠?guī)模開展企業(yè)AI需要對企業(yè)AI用例和應(yīng)用程序進(jìn)行適當(dāng)投資，并對基礎(chǔ)設(shè)施和配套支持進(jìn)行大量投資。

任務(wù)支持和作戰(zhàn)AI技術(shù)的部署和使用仍面臨若干重大技術(shù)障礙。但并不意味著DoD不應(yīng)開展任務(wù)支持或作戰(zhàn)AI。相反，DoD應(yīng)該開發(fā)此類技術(shù)（特別注意VVT&E，并相應(yīng)地進(jìn)行適當(dāng)?shù)耐顿Y，并且符合DIB提出的道德原則）。然而，對于DoD來說，在DoD環(huán)境中從技術(shù)展示到大規(guī)模部署的過程中，對性能和時間進(jìn)展有切合實(shí)際的期望是很重要的。需要從現(xiàn)在開始對任務(wù)支持和作戰(zhàn)AI用例進(jìn)行謹(jǐn)慎投資，但期望它們可能只在中長期內(nèi)產(chǎn)生產(chǎn)品。此外，這些投資還應(yīng)輔之以對基礎(chǔ)設(shè)施和配套支持以及VVT&E的適當(dāng)投資。

鑒于上述情況，作為粗略的經(jīng)驗(yàn)法則，假設(shè)從今天開始對所有三類AI進(jìn)行充分投資，則三類AI大規(guī)模部署的預(yù)期可被視為與概念框架中描述的三個時間窗口（近、中、遠(yuǎn)）一致。一些企業(yè)AI已準(zhǔn)備好在短期內(nèi)大規(guī)模使用，而新的任務(wù)支持AI和作戰(zhàn)AI分別在中期和長期內(nèi)準(zhǔn)備好大規(guī)模使用，這并不意味著基于DL的任務(wù)支持或作戰(zhàn)支持能力的具體實(shí)例不會很快實(shí)現(xiàn)，態(tài)勢評估與大規(guī)模部署的預(yù)期有關(guān)。

在此再次強(qiáng)調(diào)，前面的聲明專門針對利用和規(guī)?；疉I最新顯著進(jìn)展以支持DoD任務(wù)的目標(biāo)和期望。還需要注意的是，歷史告訴我們，突破，特別是在AI方面，很難預(yù)測（見附錄D“DoD AI歷史”一節(jié)）。例如，盡管目前的方法嚴(yán)重依賴于對大型數(shù)據(jù)集的訓(xùn)練，但未來可能不會如此。因此，DoD必須保持靈活性和開放、平衡的視角，因?yàn)镈oD將進(jìn)一步邁向AI驅(qū)動的未來，以及可能打開新大門的基礎(chǔ)研究投資組合。