谷歌研發(fā)AI算法控制無人氣球運(yùn)動

一只漂浮在平流層的巨型氣球，在人工智能的幫助下，穩(wěn)穩(wěn)地待在原地?cái)?shù)周。

12月3日，學(xué)術(shù)期刊《自然》發(fā)表了一項(xiàng)來自谷歌團(tuán)隊(duì)的研究，顯示人工智能控制器能讓平流層的氣球一連數(shù)周待在原地。這項(xiàng)研究結(jié)果意味著，深度強(qiáng)化學(xué)習(xí)向現(xiàn)實(shí)世界應(yīng)用邁進(jìn)了難得的一步，提高了全自動環(huán)境監(jiān)測成為現(xiàn)實(shí)的可能性。

平流層中的無人氣球。谷歌Project Loon正在利用這種氣球建立空中無線通訊網(wǎng)絡(luò)。

填充氦氣的“超壓”氣球常被用來在高層大氣開展實(shí)驗(yàn)，比如氣象監(jiān)測。對于谷歌Project Loon項(xiàng)目而言，這類氣球被用來向指定地區(qū)提供互聯(lián)網(wǎng)服務(wù)。

“超壓”氣球在空中作業(yè)時(shí)，被要求停留在固定的位置，以便更好地獲取數(shù)據(jù)或傳輸信息。如果被風(fēng)吹偏了航道，它們需要返回駐點(diǎn)。根據(jù)《自然》的這項(xiàng)最新研究，深度強(qiáng)化學(xué)習(xí)可以訓(xùn)練人工智能系統(tǒng)進(jìn)行決策，這些決策包括采取哪些行動來保持氣球的位置不變。

這項(xiàng)研究題為“Autonomous navigation of stratospheric balloons using reinforcement learning”（《基于強(qiáng)化學(xué)習(xí)的平流層氣球自主導(dǎo)航》），由谷歌大腦團(tuán)隊(duì)和谷歌母公司Alphabet旗下子公司Loon共同完成。

論文第一作者、來自谷歌大腦團(tuán)隊(duì)的Marc Bellemare和同事訓(xùn)練了的人工智能控制器能根據(jù)風(fēng)的歷史記錄、預(yù)報(bào)、局地風(fēng)觀測和其他因素（如氦氣損失和電池疲勞），決定是否要移動氣球。

平流層氣球的定位。定位是指將氣球的位置保持在地面某特定位置的一定范圍之內(nèi)。

深度強(qiáng)化學(xué)習(xí)的應(yīng)用已在受控環(huán)境如電腦游戲中得到了演示。受控環(huán)境擁有完整的數(shù)據(jù)集和明確定義的參數(shù)，與之相比，現(xiàn)實(shí)世界的可預(yù)測性較差。比如在平流層氣球定位問題中，環(huán)境中風(fēng)的數(shù)據(jù)不完整，很難采取最優(yōu)調(diào)整，讓氣球保持在原位。

為解決這個(gè)問題，研究人員利用一種數(shù)據(jù)增強(qiáng)算法來解釋數(shù)據(jù)中的空白。他們將這種名為StationSeeker的技術(shù)應(yīng)用到全球各地的Loon氣球上，并在太平洋赤道附近進(jìn)行了為期39天的空中受控實(shí)驗(yàn)。

作者發(fā)現(xiàn)，受到StationSeeker控制的氣球能成功實(shí)現(xiàn)自主導(dǎo)航，一旦被吹偏航道，它們能比傳統(tǒng)控制器控制的氣球更快地回到駐點(diǎn)。

Project Loon最初是谷歌X實(shí)驗(yàn)室的一個(gè)項(xiàng)目，2018年該項(xiàng)目被分拆出來，成為了Alphabet的獨(dú)立子公司。至今，Loon氣球已經(jīng)累計(jì)了超過100萬小時(shí)的飛行時(shí)間，2020年7月起，Loon正式開始在肯尼亞運(yùn)營其商業(yè)互聯(lián)網(wǎng)服務(wù)。

英國國家大氣科學(xué)中心、牛津大學(xué)大氣海洋和行星物理學(xué)系的科學(xué)家Scott M. Osprey在為該論文寫的“新聞與觀點(diǎn)”文章中評價(jià)稱，這項(xiàng)研究代表了增強(qiáng)學(xué)習(xí)在現(xiàn)實(shí)世界應(yīng)用的一次巨大進(jìn)步?！霸诓煌耆私庵苓咃L(fēng)的情況下，一個(gè)人工智能控制器讓氣球在平流層停留了數(shù)周，這為無監(jiān)督環(huán)境監(jiān)測開辟了前景”。

Scott M. Osprey認(rèn)為，有效且自主“超壓”氣球?qū)樘綔y地球和其他行星的大氣提供一系列商業(yè)和科學(xué)應(yīng)用。如果能做到讓一個(gè)氣球在特定位置停留數(shù)月，就可以進(jìn)行長期的環(huán)境監(jiān)測，例如檢測城市上空的空氣質(zhì)量、受高溫影響的森林和凍土融化地區(qū)的碳通量等。其他應(yīng)用甚至包括監(jiān)測動物遷徙路線和非法越境的貨物與偷渡人員。

責(zé)任編輯：PSY