如何使機(jī)器像人一樣對物理世界直觀理解？

鄭南寧院士在首屆中國認(rèn)知計算與混合智能學(xué)術(shù)大會上，從人工智能的五大學(xué)術(shù)流派講起，分析了符號化人工智能與深度神經(jīng)網(wǎng)絡(luò)的局限性，并詳細(xì)剖析了“使機(jī)器像人一樣對物理世界直觀理解”的直覺AI，以其團(tuán)隊實踐的無人駕駛為例，分析人工智能中的認(rèn)知與推理是如何解決實際問題的。

“首屆中國認(rèn)知計算與混合智能學(xué)術(shù)大會”于2018年8月25-26日在西安舉行。本次大會的主題是研討與交流認(rèn)知科學(xué)、神經(jīng)科學(xué)與人工智能學(xué)科等領(lǐng)域交叉融合的最新進(jìn)展和前沿技術(shù)，西安交通大學(xué)人工智能與機(jī)器人研究所教授，中國工程院院士鄭南寧作為大會報告的最后一位嘉賓分享了題為《直覺性AI與無人駕駛》報告。以下為報告的主要內(nèi)容：

傳統(tǒng)人工智能及其局限性

人工智能追求的長期目標(biāo)是使機(jī)器能像人類一樣感知世界和解決問題。對當(dāng)前人工智能而言，解決某些對人類來說屬于智力挑戰(zhàn)的問題可能是相對簡單的，但對看似簡單的與真實物理世界交互的能力依然非常差（無人駕駛就屬于這類問題）。

目前，人工智能主要有以下五大學(xué)術(shù)流派：

①符號主義：使用符號、規(guī)則和邏輯來表征知識和進(jìn)行邏輯推理，最喜歡的算法是：規(guī)則和決策樹

②聯(lián)結(jié)主義：使用概率矩陣和加權(quán)神經(jīng)元來動態(tài)地識別和歸納模式，最喜歡的算法是：神經(jīng)網(wǎng)絡(luò)③貝葉斯派：獲取發(fā)生的可能性來進(jìn)行概率推理，最喜歡的算法是：樸素貝葉斯或馬爾可夫

④進(jìn)化主義：生成變化，然后為特定目標(biāo)獲取其中最優(yōu)的，最喜歡的算法是：遺傳算法⑤Analogizer：根據(jù)約束條件來優(yōu)化函數(shù)（盡可能走到更高，但同時不要離開道路），常用的算法：支持向量機(jī)（SVM）。

人類面臨的許多問題具有不確定性、脆弱性和開放性。今天人工智能的理論框架，建立在演繹邏輯和語義描述的基礎(chǔ)方法之上，但我們不可能對人類社會的所有問題建模，因為這中間存在著條件問題，我們不可能把一個行為的所有條件都模擬出，這是傳統(tǒng)人工智能的局限性。

符號化人工智能的局限性

需要對問題本身抽象出一個精確數(shù)學(xué)意義上的解析式的數(shù)學(xué)模型（抽象不出，即歸納為不可解問題）

需要對已建立的數(shù)學(xué)模型設(shè)計出確定的算法

確定的算法無法表示現(xiàn)實世界問題所固有的測不準(zhǔn)性和不完備性

圖靈意義下的可計算問題都是可遞歸的（“可遞歸的”都是有序的，而實際中存在大量的開放性、動態(tài)性和脆弱性問題）

深度神經(jīng)網(wǎng)絡(luò)的局限性

過度依靠訓(xùn)練數(shù)據(jù)

缺乏推理和對因果關(guān)系的表達(dá)能力（而大量的人工智能問題需要給出處理對象間的關(guān)聯(lián)、因果以及控制關(guān)系）

依靠于指令驅(qū)動或數(shù)據(jù)驅(qū)動，其存儲架構(gòu)無法進(jìn)行高效的圖數(shù)據(jù)索引和存儲（而在一些應(yīng)用中需要基于事件驅(qū)動的計算）

無法在計算過程中實現(xiàn)有效的注意機(jī)制（計算負(fù)載與資源分配），而選擇性注意機(jī)制是構(gòu)成高級AI的基本核心

構(gòu)建直覺性AI

人腦對于非認(rèn)知因素的理解更多地來自于直覺，并受到經(jīng)驗和長期知識積累的影響，這些因素在人對物理環(huán)境理解與行為交互、非完整信息處理等問題中有著極其重要的作用。而且人類的學(xué)習(xí)是一種與事物互動的過程，人類認(rèn)知過程中的特征概念形成往往是建立在語義解釋的基礎(chǔ)上；人類依賴對事物的觀察（或顯著性特征的注意）在大腦中建立不同的內(nèi)部分析模型，并利用這些模型來推測事物的變化，或是從過去的事件預(yù)測未來。

而機(jī)器學(xué)習(xí)中的特征提取及預(yù)測模型與人類認(rèn)知過程中的特征概念形成及其內(nèi)部分析模型是完全不同的，為使機(jī)器學(xué)習(xí)模型產(chǎn)生人類的認(rèn)知結(jié)果，需要其所學(xué)特征在一定程度上符合神經(jīng)生理學(xué)實驗結(jié)果，同時要使特征具有數(shù)學(xué)和語義的解釋性。此外，大腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的可塑性，以及人腦在非認(rèn)知因素和認(rèn)知功能之間的相互作用，它們是形式化方法難以、甚至不能描述的。因此，我們需要從腦認(rèn)知機(jī)理和神經(jīng)科學(xué)獲得靈感和啟發(fā)，發(fā)展新的AI計算模型與架構(gòu)，讓機(jī)器具備對物理世界最基本的感知與反應(yīng)，即使機(jī)器具有“常識”推理的能力，從而實現(xiàn)更加健壯的人工智能系統(tǒng)。

我們要建造一種更加健壯的人工智能，需要腦認(rèn)知和神經(jīng)科學(xué)的啟發(fā)。計算機(jī)和人類大腦是對問題求解的物質(zhì)基礎(chǔ)。在智力和計算能力方面，計算機(jī)遠(yuǎn)遠(yuǎn)超過了人類，但是人類面對的大部分問題都是開放的、動態(tài)的、復(fù)雜的，大腦在處理這種問題時表現(xiàn)出的想象和創(chuàng)造，還有對復(fù)雜問題的分析和描述，是傳統(tǒng)人工智能的方法所不能企及的，我們只能夠從人類大腦的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中去獲得構(gòu)造新的人工智能的因素。

直覺推理

直覺和敏感都屬于創(chuàng)造性思維，警察在破案中，靠的是多年積累和實踐，形成的直覺判斷。靈感、頓悟與直覺的區(qū)別是，直覺是對當(dāng)前環(huán)境的反應(yīng)，它在現(xiàn)在人工智能的發(fā)展中扮演著十分重要的角色。我們需要一種基于直覺的人工智能，也可以將它看成一種基于直覺的推理。

人的直覺反應(yīng)實際上是尋找全局最優(yōu)解。要構(gòu)造直覺推理，需要連個關(guān)鍵因素：1.需要構(gòu)造一個成本函數(shù)；2.需要給出一個決策結(jié)構(gòu)，而這個決策結(jié)構(gòu)就建立在記憶基礎(chǔ)上。

人在觀察事物時，一定會形成一種與時間相關(guān)的影像。如果把直覺推理和數(shù)學(xué)歸納演繹推理兩類機(jī)制組合，就可以實現(xiàn)基于認(rèn)知計算或受神經(jīng)科學(xué)啟發(fā)的人工智能。

認(rèn)知推理

我們把認(rèn)知推理稱為直觀、樸素的物理推理。物理層面的認(rèn)知推理可以化解時間與空間，追蹤事物的發(fā)展軌跡。認(rèn)知推理的另一個要素在心理層面，簡而言之就是學(xué)習(xí)方向受心理狀態(tài)的引導(dǎo)。我們需要把物理層面和心理層面的推理嵌入到推理的人工智能系統(tǒng)中。

使機(jī)器像人一樣對物理世界直觀理解

實現(xiàn)物理層面認(rèn)知推理的基本要素：

（1）物理（或?qū)ο螅┨卣鞯淖R別，并形成長短期記憶

（2）物理（或?qū)ο螅┲g相互關(guān)系與作用的直觀理解

（3）基于想象力的行為模型產(chǎn)生

關(guān)于物體（或?qū)ο螅┑年P(guān)系和物理層面的直觀推理是人類智力的核心，使機(jī)器像人一樣對物理世界直觀理解是人工智能追求的科學(xué)目標(biāo)之一。

構(gòu)造一個具體的人工智能系統(tǒng)

直覺推理、認(rèn)知推理和因果模型是構(gòu)建健壯的人工智能必須考慮的基本因素。那么如何來構(gòu)造一個具體的系統(tǒng)？構(gòu)造機(jī)器人需要三個基本要素：1.對環(huán)境中的所有對象進(jìn)行特征識別，并且進(jìn)行長期記憶；2.理出對象間的關(guān)系，并對它們相互間的作用進(jìn)行描述；3.基于想象力的行為模型，人在進(jìn)行具體行動之前，會想象其帶來的后果，但機(jī)器就需要分析物體之間的各種關(guān)系。

這三種要素是讓機(jī)器像人一樣理解物理世界的基礎(chǔ)。具有想象力的人工智能，就需要：

構(gòu)造一個內(nèi)部預(yù)測的模型，在行動之前預(yù)想到的結(jié)果；

給出環(huán)境模型，提取有用信息；

規(guī)劃想象行為，最大化任務(wù)效率（具有想象力的AI）

用認(rèn)知解決無人駕駛

我們在 2000 年初就開始做無人駕駛，有人說要把無人駕駛汽車和城市真實場景的車融合，我們還面臨非常艱難的挑戰(zhàn)，有相當(dāng)長的路要走。車聯(lián)網(wǎng)，V2X，V2V，都一樣。在這種局部、動態(tài)的場景中，我們怎樣讓自動駕駛跟環(huán)境融合，確實是一個很大的問題。

無人駕駛技術(shù)的五大難題:

1.場景的“可靠感知”

無論何種路況或天氣必須可靠地感知周圍的場景

2.“預(yù)行為”理解

判斷或理解交通場景中不同運動對象細(xì)微的預(yù)行為

3.“意外遭遇”的應(yīng)對

解釋異常情況，如交警的手勢、意外的交通情境

4.“人—車的自然交互”

理解并回答乘客提出的請求，不是簡單的“點到點的行駛”

5.網(wǎng)絡(luò)安全

通過云端獲取和更新地圖使自主駕駛面臨更大的風(fēng)險

現(xiàn)在絕大多數(shù)自動駕駛采取了場景感知與定位，決策規(guī)劃與控制，這是一種簡單的 ADAS 形式，但我們要如何通過新的方法來解決這個問題？

場景感知與情境計算

場景是某個交互場合在特定時間和空間中的具體情境和影象，它可以定義為一種實體。情境是指這種實體隨著時間和空間變化而產(chǎn)生的關(guān)聯(lián)。情境計算是對場景各個關(guān)聯(lián)的對象做解釋，可以定義為一個行為相關(guān)體。

這里的問題就是，第一，要讓自動駕駛汽車像人一樣理解和記憶，就要具有記憶推理和經(jīng)驗分析的技術(shù)；第二就，進(jìn)化發(fā)展的自動駕駛，其學(xué)習(xí)過程要像人類一樣熟能生巧。

人類視覺關(guān)注的基本機(jī)制是選擇、組織、整合、編碼。

人對變化是非常敏感的，可以提取交通場景中的顯著性變化。比如你在開車時，如果右前方突然來了一個騎自行車的人，你的注意力會轉(zhuǎn)移到騎車人的身上。在自動駕駛汽車上，我們要構(gòu)造一個選擇性的注意機(jī)制網(wǎng)絡(luò)，對數(shù)種圖像進(jìn)行理解，并根據(jù)內(nèi)部狀態(tài)的表示，忽略不相關(guān)的對象，選擇下一步要采取的動作。

把場景感知和情景認(rèn)知結(jié)合起來，需要我們構(gòu)建一個模型，融合先進(jìn)知識概念，實現(xiàn)記憶學(xué)習(xí)。

場景感知是將通過各種不同屬性的傳感器獲得的不同數(shù)據(jù)，提供到深度學(xué)習(xí)中，之后再根據(jù)長短期記憶和定位網(wǎng)絡(luò)，進(jìn)行情境計算。在這種框架中，我們可以把場景感知和情境計算融合在一起。

一個高效的情景計算要運用實際情境的因果關(guān)聯(lián)，在最前端的數(shù)據(jù)層面進(jìn)行有效計算，這就需要把數(shù)據(jù)驅(qū)動變成事件驅(qū)動。人在開車時，根據(jù)情境判斷前方可不可以行駛，這就是把數(shù)據(jù)驅(qū)動變成事件驅(qū)動。

怎么構(gòu)造事件驅(qū)動？就是把可見光和激光點云數(shù)據(jù)融合在一起，把三維數(shù)據(jù)轉(zhuǎn)化成二維圖像數(shù)據(jù)。點云數(shù)據(jù)給出了每一個生物體的明確的點，二維圖像沒有深度信息，它是圖像的幾何形狀變化。把人的數(shù)據(jù)和激光點云的數(shù)據(jù)融合，用數(shù)據(jù)驅(qū)動轉(zhuǎn)變?yōu)槭录?qū)動，就得出了可行駛數(shù)據(jù)和不可行駛數(shù)據(jù)大的劃分。

人開車的時候，他在注意什么，我們就來構(gòu)建一個類似的選擇性基礎(chǔ)，把同樣的場景輸入到一個深度學(xué)習(xí)網(wǎng)絡(luò)中，通過深度學(xué)習(xí)網(wǎng)絡(luò)提取特征和人的注意力。

實現(xiàn)復(fù)雜路況中無人駕駛的四個核心技術(shù)

1.如何在環(huán)境感知數(shù)據(jù)獲取與融合過程給出知覺物體的基本判斷，形成選擇注意的基本單元；

2.如何在注意的基礎(chǔ)上，將非完整的環(huán)境信息轉(zhuǎn)化為用于決策規(guī)劃的空間結(jié)構(gòu)信息；知覺編組能用最少的領(lǐng)域只是形成目標(biāo)假設(shè);

3.如何在學(xué)習(xí)和知識集成的基礎(chǔ)上，實時處理行駛過程中的突發(fā)事件，即具有自學(xué)習(xí)功能

4.如何在環(huán)境交互和行為決策的基礎(chǔ)上，構(gòu)建無人駕駛的控制系統(tǒng)

總結(jié)

大腦還有許多未解之謎，腦認(rèn)知和神經(jīng)科學(xué)研究的每一項真正的突破都伴隨著艱難的歷程。我們需要更多時間來發(fā)現(xiàn)受腦認(rèn)知和神經(jīng)科學(xué)啟發(fā)的人工智能突破點在哪里？把研究建立在嚴(yán)謹(jǐn)?shù)睦碚摗⒛Ｐ徒ㄔ?、實驗驗證與分析的基礎(chǔ)上。

新一代人工智能的發(fā)展離不開信息科學(xué)、認(rèn)知科學(xué)、神經(jīng)科學(xué)、數(shù)學(xué)等學(xué)科的共同進(jìn)步，必須加強(qiáng)來自多學(xué)科的實驗科學(xué)家和理論科學(xué)家的合作。

現(xiàn)代科學(xué)的進(jìn)步往往是在新的思想和已有的成見之間精致平衡中實現(xiàn)的。面對人工智能研究與應(yīng)用的熱潮，需要保持冷靜思考和踏實工作；期望值過高，又沒有達(dá)到預(yù)期的目標(biāo)，有可能會給學(xué)科發(fā)展帶來的低潮甚至災(zāi)難性的后果，使最初的期望目標(biāo)成為”皇帝的新衣“。