用于關(guān)鍵任務(wù)規(guī)劃和模擬演練的下一代建模和仿真解決方案

消化和迭代接近實時的地理空間數(shù)據(jù)的能力，將是未來多域場景中基于建模和仿真(M&S) 的任務(wù)規(guī)劃和演練解決方案的核心。在建模和仿真應(yīng)用程序中快速整合近期識別資產(chǎn)（identified assets）的能力則是一個與時間相關(guān)的瓶頸，只能通過自動獲取及時的真實數(shù)據(jù)來解決。本文提出了一種端到端的地理空間管道，將當前的地理數(shù)據(jù)饋送到 3D 數(shù)字孿生環(huán)境中，用于任務(wù)訓(xùn)練和模擬演練?；谌蚝娇諗?shù)據(jù)集（RGB、NIR、SAR）的全自動解決方案采用預(yù)先訓(xùn)練的機器學習（ML）模型來提取給定任務(wù)區(qū)域的 3D 基礎(chǔ)設(shè)施地理定位和地形數(shù)據(jù)。該技術(shù)的一個核心功能是一個集成的無代碼、可視化數(shù)據(jù)標記工具，它使未經(jīng)人工智能與機器學習（AI/ML）培訓(xùn)的人員能夠?qū)Ξ斍皥D像應(yīng)用ML分析，以識別大規(guī)模區(qū)域內(nèi)的關(guān)鍵任務(wù)對象。這些檢測到的關(guān)鍵對象會自動輸入地理空間管道，在綜合訓(xùn)練環(huán)境中進行地理參考和可視化表示。使用這種地理空間元宇宙方法，可以實時創(chuàng)建包含關(guān)鍵任務(wù)細節(jié)的綜合訓(xùn)練環(huán)境。因此，未來的任務(wù)規(guī)劃人員將能夠以靈活的方式定制模擬演練。

時間關(guān)鍵場景中的建模和仿真

地理空間信息既能啟用預(yù)警信號，又能提供作戰(zhàn)見解，其重要性無須贅述。本文將對另一個應(yīng)用領(lǐng)域進行介紹，以獲取用于綜合訓(xùn)練和模擬解決方案的地理空間信息。政府（即情報界）和商業(yè)地理空間數(shù)據(jù)提供商（例如麥克薩科技(MaxarTechnologies)）為其選定的關(guān)心領(lǐng)域提供了大量接近實時的數(shù)據(jù)。例如，Maxar的衛(wèi)星艦隊可以每天提供多個重訪周期。生成的大量地理空間數(shù)據(jù)是現(xiàn)代大數(shù)據(jù)分析的一個典型應(yīng)用領(lǐng)域，其背后由先進的機器學習模型進行支撐?？紤]到這些技術(shù)進步，本文將展示一個端到端的地理空間平臺來消化和分析捕獲的數(shù)據(jù)（例如，通過無人機或衛(wèi)星）并輸出 3D 環(huán)境，以支持用于關(guān)鍵任務(wù)規(guī)劃和模擬演練的下一代建模和仿真（M&S）解決方案。

該平臺的核心功能是基于無代碼的人工監(jiān)督界面，可將新的素材集成到用于虛擬任務(wù)規(guī)劃和排練的3D綜合訓(xùn)練環(huán)境的創(chuàng)建中。這項獲得專利的創(chuàng)新使作戰(zhàn)規(guī)劃人員能夠?qū)⒎穷A(yù)定義的地理素材集成到應(yīng)用的機器學習模型的訓(xùn)練和檢測周期中。例如，如果關(guān)鍵任務(wù)是在興趣面 (AOI) 中尋找和保護水井，任務(wù)規(guī)劃者可以通過簡單地在給定地理區(qū)域提供的界面中標記示例來將此信息添加到綜合環(huán)境中。然后，該模型將采用這些新的地理標簽，將它們集成到其分析周期中，并將井的表示提供給 3D 綜合訓(xùn)練環(huán)境。

正如本文所示，文中所提出的解決方案可以增強未來建模和仿真環(huán)境的合理性和范圍。最重要的是，通過加速地理空間分析的采用周期以及真實 3D 環(huán)境的創(chuàng)建，數(shù)據(jù)采集、自動分析和任務(wù)規(guī)劃之間的過程可能會大大增加。這將使未來的數(shù)字孿生生態(tài)系統(tǒng)能夠在海陸空網(wǎng)等所有領(lǐng)域的安全性和防御能力得到增強。

建模和仿真在戰(zhàn)術(shù)和作戰(zhàn)程序?qū)用婢哂杏凭玫臍v史。從早期的硬紙板立體模型到當前的計算機模擬，提前預(yù)測和預(yù)測無法估量的事物一直是其核心需求。通常情況下，現(xiàn)代 3D 環(huán)境的地理地形和其他組件是預(yù)先建模的。其他相關(guān)的信息（例如，相關(guān)點的位置、關(guān)鍵基礎(chǔ)設(shè)施等）則是手動添加或?qū)氲?。這種方法通常依賴于場外人員提供的情報，并且需要很長時間才能將這些數(shù)據(jù)層加入到綜合任務(wù)場景中?？紤]到這些局限性和時間限制，不論是提供時間關(guān)鍵的應(yīng)用程序的解決方案，還是適時的大規(guī)模方法的解決方案，都難以實現(xiàn)。本文將提出一項創(chuàng)新，通過實現(xiàn)快速、自動獲取關(guān)鍵任務(wù)資產(chǎn)，填補3D仿真增強技術(shù)的空白。

應(yīng)用于地理空間數(shù)據(jù)的機器學習能力

機器學習的進步使遙感衛(wèi)星圖像和航拍圖像的全自動分析成為可能。這允許國家、大陸甚至全球范圍內(nèi)大規(guī)模的信息提取，從而使M&S應(yīng)用程序能夠覆蓋比以往任何時候都更大的區(qū)域?？梢哉f，機器學習（ML）是用來推導(dǎo)3D數(shù)字孿生的基礎(chǔ)。鑒于云計算、無服務(wù)器計算、邊緣計算等技術(shù)，M&S應(yīng)用程序不再局限于小規(guī)模場景，而是可以無縫集成整個感興趣的區(qū)域。

本章第一節(jié)主要描述了基于機器學習的分析平臺；第二節(jié)給出了從輸入圖像中提取的特征的示例。這些特征隨后被導(dǎo)入到三維建模與仿真環(huán)境中并實現(xiàn)可視化；第三節(jié)介紹了一種利用有限資源實時構(gòu)建多樣化地理典型 3D 環(huán)境的有效方法；第四節(jié)則強調(diào)了及時更新的重要性，以及改進下一章中討論的標簽和培訓(xùn)方法的必要性。

1.地理空間分析平臺架構(gòu)

圖2-1展示了云原生地理空間分析平臺的原型架構(gòu)。其核心包括用于數(shù)據(jù)管理、工作流調(diào)度、訓(xùn)練和推演的組件，以及用于數(shù)據(jù)分析和質(zhì)量保證以及標簽的用戶界面。值得注意的是，在典型的平臺配置中，機器學習模型只是許多協(xié)調(diào)流程、功能和數(shù)據(jù)層的一個組件。使用 blob 存儲等基于云的服務(wù)，Docker (https://docker.com/) 等容器技術(shù)、Kubernetes (https://kubernetes.io/) 等編排平臺，以及 Flyte (https://flyte.org/) 等工作流引擎使處理 PB 級地理空間數(shù)據(jù)成為可能。

此類平臺的核心任務(wù)是使用機器學習模型并確保其生命周期。典型的機器學習生命周期包含數(shù)據(jù)管理（包括典型的提取/轉(zhuǎn)換/加載步驟）、模型學習（訓(xùn)練）、模型驗證、模型部署和模型執(zhí)行。此類處理步驟（例如建筑物覆蓋區(qū)、植被遮罩、要素標簽）的輸出通常是柵格數(shù)據(jù)（例如 GeoTiff 或 COG）、矢量數(shù)據(jù)（例如 GeoJSON 或 GeoPackage）或是可供客戶端應(yīng)用程序使用的格式（例如，USD、CDB 或 3D Tiles）。

圖2-1：基于云架構(gòu)的典型地理空間分析平臺2.提取的特征

所呈現(xiàn)的地理空間平臺包含一個數(shù)據(jù)管理解決方案，該解決方案為 PB 級地理參考數(shù)據(jù)和數(shù)十億個幾何特征的存儲和迭代而量身定制。主要流程包括將圖像（或其他類型的數(shù)據(jù)）導(dǎo)入平臺，然后運行機器學習模型和其他算法，隨后將結(jié)果打包分發(fā)到3D建模和仿真環(huán)境中。圖 2-2 顯示了在人口密集區(qū)域進行基礎(chǔ)設(shè)施檢測所需的一般步驟。加載輸?的圖像，檢測建筑結(jié)構(gòu)，并對每個建筑物的分割進行分析；結(jié)果會被矢量化，隨后推導(dǎo)出占用空間以及建筑物高度。通常用于此類任務(wù)的網(wǎng)絡(luò)是卷積神經(jīng)網(wǎng)絡(luò)或框架場學習等更新的方法。

這一過程已經(jīng)在商業(yè)案例中得到驗證。例如，這一架構(gòu)在一組共36臺虛擬機上處理伊比利亞半島（60萬平方公里）的數(shù)據(jù)僅需18小時。一般來說，具有單個圖形處理單元（GPU）的普通PC工作站可以通過本地安裝的平臺每秒分析幾平方公里的數(shù)據(jù)。

圖2-2：建筑特征提取步驟3.3D可視化與仿真

?旦從圖像中提取了特征，它們就可以在建模和仿真環(huán)境中?于可視化、分析、規(guī)劃、培訓(xùn)以及其他場景。如果雙?就數(shù)據(jù)傳輸?shù)耐?格式達成?致，那么建模和仿真應(yīng)?程序就可以完全獨?于前面所提到的地理空間分析平臺。在案例中使用了一種高度優(yōu)化的格式，可以按需進行流式傳輸，傳輸所需的帶寬低，但產(chǎn)生的結(jié)果豐富多樣。隨附的客?端軟件可以集成到現(xiàn)成的 3D 引擎中，例如 Epic 的虛幻引擎或 Unity 的3D 引擎，以及專有渲染引擎和模擬應(yīng)?程序。

專注于建筑物和其他基礎(chǔ)設(shè)施，可以將現(xiàn)成的 3D 對象或程序生成的對象（從輸入數(shù)據(jù)派生）放入模擬環(huán)境中。第一個選項的缺點是通常只有有限數(shù)量的 3D 對象可用。雖然這些對象可能具有非常高的保真度，但它們經(jīng)常重復(fù)。程序生成的對象可以生成無限數(shù)量的符合輸入數(shù)據(jù)的獨特建筑和結(jié)構(gòu)，例如，與檢測到的占地面積、建筑高度、屋頂類型以及其他屬性相匹配的建筑。

本文提到的方法使用了一種被稱為程序語法生成器 (PGG) 的專利程序技術(shù)，該技術(shù)可以接收各種數(shù)據(jù)源，并實時生成匹配的數(shù)字孿生。除了從輸入圖像中檢測到的要素外，其他數(shù)據(jù)源可能包括數(shù)字高程模型 (DEM)、公路和鐵路網(wǎng)絡(luò)、水體和興趣點。數(shù)據(jù)表示非常?效，在移動設(shè)備上即可存儲整個地球的數(shù)字孿生。PGG的靈活性是通過一種特定于領(lǐng)域的語言來實現(xiàn)的，該語言用于描述具有可塑性并可適應(yīng)輸入數(shù)據(jù)的建筑藍圖。這使得地球上的區(qū)域能夠以具有地理特征的、多樣化的方式呈現(xiàn)。

4.更新的及時性

根據(jù)使用案例可知，更新的及時性至關(guān)重要。從捕獲圖像到在模擬環(huán)境中適用，這一時間應(yīng)盡可能短。這就需要一種全自動化的方法。

鑒于上述架構(gòu)，人們可以看到每個組件如何依次處理新圖像。當攝取或更新大量數(shù)據(jù)時，這些步驟的順序性可能會帶來問題。雖然地理空間數(shù)據(jù)有助于輕松并行化，但問題出現(xiàn)在計劃用于計算的離散工作項的邊界上：后續(xù)步驟可能需要來自相鄰工作項的附加上下文才能正常運行。例如，矢量化步驟需要跨越所述項目邊界的結(jié)構(gòu)的上下文。在傳統(tǒng)的調(diào)度框架中，最佳并行化要么需要多次計算上下文區(qū)域，這完全是不必要的付出；要么在每個步驟內(nèi)將調(diào)度簡化為簡單的并行化，按順序處理每個步驟。這樣則會不必要地延長第一次模擬結(jié)果的時間，并且可能無法最佳地使用可用的計算資源。本文在平臺上部署一種地理空間感知調(diào)度算法，該算法可以減少周轉(zhuǎn)時間，因為它可以在并行調(diào)度工作項時考慮地理空間上下文依賴性。使用這種方法，可以立即獲得第一批結(jié)果。

這仍然存在問題：只有那些建模和仿真模型可用于檢測的特征才能自動使用。新的特征需要漫長的訓(xùn)練過程才能生成可靠的建模和仿真模型。

接近實時的訓(xùn)練和檢測

上一章概述的方法和程序假定機器學習模型已經(jīng)針對所需的檢測類別和特征進行了訓(xùn)練。雖然高效的模型可以提前采用（例如，通用基礎(chǔ)設(shè)施和車輛的模型），但可能需要對新類別的模型進行專門培訓(xùn)。傳統(tǒng)的做法是先由數(shù)據(jù)分析師生成一組訓(xùn)練數(shù)據(jù)，然后對模型進行訓(xùn)練，評估其質(zhì)量，最終將其部署到現(xiàn)場。這是一個可能涉及很多人員并花費大量時間的過程。

1.即時反饋標注和訓(xùn)練

本文提出的解決方案使用一種稱為“實時標記”的技術(shù)。這種方法包含一個無代碼、可視化數(shù)據(jù)標記工具。通過這種方法，未受過 AI/ML 培訓(xùn)的人員僅需最先進的傳統(tǒng)方法所需的一小部分時間，就能將ML分析應(yīng)用于新的數(shù)據(jù)需求。憑借其較短的迭代時間、更少的人員需求以及與 3D 仿真環(huán)境的集成，這種方法非常適合時間緊迫的應(yīng)用程序和場景。圖 3-1 描述了與創(chuàng)建地理標簽的經(jīng)典標記方法相比，這種新方法的時間和資源效率?！皩崟r標記法”在每個標簽花費的時間以及相同持續(xù)時間內(nèi)創(chuàng)建的標簽的累積數(shù)量方面明顯優(yōu)于傳統(tǒng)方法。

圖3-1：傳統(tǒng)方法與“實時標記法”的速度和輸出比較

“實時標記法”的可視化界面如圖3-2所示。只需幾筆，分析師就可以識別出感興趣的對象（左圖）。右圖顯示了模型的當前推斷。分析師可以縮放和平移圖像，快速識別誤報和漏報，并添加額外的標簽來糾正這些錯誤。短短幾分鐘，該模型就能達到很高的準確性。

圖3-2：正在運?的“實時標記法”UI：左邊為用戶的注釋頁面，右邊是實時訓(xùn)練模型的預(yù)測掩碼

ML 模型界面直觀，并且由于其即時的視覺反饋，易于學習和理解。ML 模型不再是黑箱，因為數(shù)據(jù)標記者可以看到每個標簽如何提高（或降低）模型的檢測準確性。因此，根據(jù)檢測類別、圖像質(zhì)量、所需的檢測質(zhì)量和受訓(xùn)者先前的領(lǐng)域知識，可以在幾小時到幾天的時間跨度內(nèi)為該標記工具培訓(xùn)新的或額外的人員。根據(jù)以往的經(jīng)驗，可以在不到兩天的時間內(nèi)讓新的數(shù)據(jù)分析師入職。加上標記的速度提升，這種易用性可以根據(jù)需要對人員進行臨時培訓(xùn)。較小的標簽團隊也意味著更容易組建團隊并找到具有必要安全許可的成員。

2.“實時標記法”架構(gòu)

如圖3-3所示，“實時標記法”通過將模型分成兩個訓(xùn)練流來實現(xiàn)其即時反饋：一個全局模型，它在所有可用的訓(xùn)練數(shù)據(jù)上進行持續(xù)訓(xùn)練，以及一個用于可視化的迭代/局部模型。迭代模型僅將當前訓(xùn)練圖像作為輸入，具有非常高的學習率，因此放大了分析師添加的每個標簽的影響。全局模型使用學習方式更為保守，因此能產(chǎn)生比迭代模型更高質(zhì)量的檢測。一旦滿足質(zhì)量標準，主模型就可以在同一界面內(nèi)的大面積區(qū)域運行。

圖3-3：機器學習概念的?級?意圖3.使用接近實時對象檢測的示例場景

“實時標記法”可以在帶有消費級顯卡的現(xiàn)成硬件上運行。因此，現(xiàn)場人員可以在沒有網(wǎng)絡(luò)連接到云的情況下離線使用。圖3-4描述了一個無人機拍攝的本地最新圖像的示例。該圖像被導(dǎo)入，隨后一個或兩個數(shù)據(jù)分析人員開始標記新的檢測類別，例如運輸卡車。很快，第一批卡車和假正例被標記。從這里開始，“實時標記法”指導(dǎo)標記過程——通過為標記提供額外的不確定結(jié)果——并在更大的區(qū)域上運行推理，最終覆蓋整個數(shù)據(jù)。然后將所有檢測到的卡車的位置轉(zhuǎn)發(fā)到 3D 仿真環(huán)境，并將現(xiàn)成的 3D 對象放置在數(shù)字孿生環(huán)境中的給定位置。在 3D 環(huán)境中，可以可視化運輸卡車的數(shù)量和分布，例如，模擬它們的預(yù)測路線或路徑中的障礙物。這種場景需要具有足夠的磁盤容量的單個服務(wù)器，用于存儲輸入的圖像和安裝GPU。分析師可以使用計算機工作站或筆記本電腦進行數(shù)據(jù)輸入以及 3D建模和仿真。

圖3-4：近實時訓(xùn)練、?標檢測和模擬的端到端?例

未來的工作

上一章中描述的方法已在多個業(yè)務(wù)案例中成功展示。當應(yīng)用于分段要求無需標注類別間的像素級精確邊界時，實時標注表現(xiàn)良好。目前，帶有實例檢測的目標檢測和分割是獨立于“實時標記法”的單獨處理步驟。因此，未來的工作將集中于集成和增強實時標記工具的目標檢測功能，以提供更廣泛的用途。該工具的用戶界面也在不斷改進，以獲得更好的反饋和用戶體驗。一般來說，擬議的地理空間端到端框架需要進一步推廣以集成到多域環(huán)境中。目前，預(yù)訓(xùn)練的ML模型專門針對地球上的地理素材。多域模擬將需要更全面的檢測能力，以涵蓋海運等其他領(lǐng)域素材。

此外，為了與現(xiàn)有的 M&S 環(huán)境集成，需要支持 CDB 或 3D Tiles 等數(shù)據(jù)格式的導(dǎo)出?，F(xiàn)有問題在于，當 3D 對象被改變成其他格式時，自定義方法（使用 PGG）不會保留其所有屬性。此外，某些功能（如客戶端著色和分層渲染）目前無法以這些格式表示，從而導(dǎo)致視覺效果較差。

結(jié)論

本文闡述了完全集成的地理空間端到端框架對于建模與仿真即服務(wù)(MSaaS)方法的潛在作用。有了合適的基礎(chǔ)條件（計算資源、數(shù)據(jù)獲取和訪問、系統(tǒng)集成），就可以為國防和其他領(lǐng)域創(chuàng)建并即時交付及時的任務(wù)規(guī)劃場景。通過對所描述的基于ML的人工參與方法進行改進，未來的培訓(xùn)環(huán)境將更接近現(xiàn)實，并可為非Al專家定制。因此，縮短從數(shù)據(jù)采集、分析到任務(wù)規(guī)劃的周期將成為一個關(guān)鍵優(yōu)勢。本文所討論的技術(shù)還可能產(chǎn)生更廣泛的影響。通過使復(fù)雜的完全集成系統(tǒng)變得易于理解和管理，未來用于國防目的的數(shù)字孿生應(yīng)用程序?qū)⒏斓厣?，從而?chuàng)建更優(yōu)質(zhì)的任務(wù)場景。最終，實時任務(wù)和訓(xùn)練環(huán)境之間將實現(xiàn)無縫切換，甚至達到模糊真實世界作戰(zhàn)和綜合任務(wù)場景之間界限的程度。

審核編輯：郭婷