關(guān)于人工智能無(wú)人車(chē)的研究案例

清華大學(xué)自動(dòng)化系系統(tǒng)工程研究所副教授李力作為第一作者以及林懿倫，鄭南寧，王飛躍，劉躍虎，曹東璞，王坤峰，黃武陵等發(fā)表了一篇關(guān)于人工智能測(cè)試和無(wú)人車(chē)測(cè)試的英文論文《Artificial intelligence test： a case study of intelligent vehicles》，集中探討了人工智能應(yīng)用領(lǐng)域中關(guān)于智能性的測(cè)試和設(shè)計(jì)方法。文章認(rèn)為，智能性測(cè)試和機(jī)器學(xué)習(xí)的過(guò)程類似，兩者如同一個(gè)硬幣的兩面，“終生測(cè)試”將是一場(chǎng)持久戰(zhàn)。文章最后還提出了虛實(shí)結(jié)合的平行測(cè)試方法。

1. 概述

本篇文章主要是講述在人工智能應(yīng)用領(lǐng)域?qū)χ悄苄缘臏y(cè)試，基于場(chǎng)景和任務(wù)的測(cè)試體系的描述，以及介紹了如何設(shè)計(jì)智能性測(cè)試中基于仿真的測(cè)試及其測(cè)試指標(biāo)，并在智能車(chē)這一典型人工智能領(lǐng)域舉例說(shuō)明。

2. 無(wú)人駕駛和人工智能

人工智能（AI）通常是指機(jī)器表現(xiàn)出來(lái)的和人類類似的智能?，F(xiàn)如今，人工智能已經(jīng)極大的改變了我們的生活，大到自動(dòng)駕駛汽車(chē)，小到掃地機(jī)器人，都是人工智能的應(yīng)用領(lǐng)域。我們堅(jiān)信，人工智能將會(huì)在未來(lái)的20年內(nèi)進(jìn)一步的改變我們生活包括健康，教育，娛樂(lè)，安全等各個(gè)領(lǐng)域。在享受人工智能的帶來(lái)的各種便利的同時(shí)，也帶來(lái)一些疑問(wèn)：如何保證人工智能機(jī)器按照人類設(shè)計(jì)的思路來(lái)正確運(yùn)行？無(wú)人駕駛車(chē)輛是否會(huì)在某些極端環(huán)境中失控照成事故？廚房機(jī)器人是否會(huì)把房子點(diǎn)燃？基于以上，我們迫切的需要對(duì)人工智能的可靠性進(jìn)行規(guī)范的測(cè)試和衡量。

為了回答以上問(wèn)題，我們需要思索一下人工智能的定義：維基百科對(duì)于人工智能的定義：機(jī)器所展現(xiàn)出來(lái)的智能；我們對(duì)其進(jìn)行擴(kuò)展，給出的定義：人工智能是指機(jī)器（在同樣的任務(wù)中）表現(xiàn)出（和人類似的、或一樣的、甚至是超過(guò)人類的）智能，明斯基（Minsky 1968）對(duì)人工智能給出過(guò)類似的定義“［AI］ is the science of making machines capable of performing tasks that would require intelligence if done by ［humans］”。 明斯基的定義更加注重對(duì)完成任務(wù)的所需要的智能（原因?qū)颍疚牡亩x則更加傾向于所完成的任務(wù)所表現(xiàn)的智能（結(jié)果導(dǎo)向）。

同時(shí)必須注意到的是，為測(cè)試智能性所選擇的任務(wù)也是有特定針對(duì)性的，不同的任務(wù)測(cè)試不同方面的智能性，例如，一個(gè)文盲可能能成為一個(gè)很好的司機(jī)，但是一個(gè)眼盲的飽學(xué)之士卻無(wú)法開(kāi)車(chē)。

圖靈測(cè)試是迄今為止我們所知的最早的針對(duì)智能性的測(cè)試。圖靈測(cè)試是圖靈對(duì)于人工智能的睿智思考，其核心思想是：要求計(jì)算機(jī)在沒(méi)有直接物理接觸的情況下，盡可能把自己偽裝成人類回答人類的詢問(wèn)。但是，圖靈測(cè)試在無(wú)人車(chē)智能性測(cè)試方面也無(wú)法全盤(pán)套用。

當(dāng)今，智能性測(cè)試有越來(lái)越多的應(yīng)用領(lǐng)域，那么我們到底應(yīng)該用何種方法來(lái)測(cè)試智能性呢？我們所提出的基于任務(wù)的智能性測(cè)試方法又有哪些優(yōu)越性呢？接下來(lái)，我們將會(huì)列舉智能性測(cè)試的難點(diǎn)，以及我們提出測(cè)試方法如何解決這些難點(diǎn)，以及如何更好的設(shè)計(jì)基于“任務(wù)”的測(cè)試用例。

3. 無(wú)人駕駛智能的設(shè)計(jì)和測(cè)試

3.1. 智能性測(cè)試的困境

3.1.1. 任務(wù)的定義/描述

第一個(gè)困境是如何來(lái)更好的定義智能性測(cè)試中的任務(wù)：

圖靈測(cè)試中最大的短板就是任務(wù)的描述。需要指出的是，當(dāng)今的無(wú)人駕駛車(chē)輛智能測(cè)試和中文屋等早期圖靈測(cè)試已經(jīng)有了很大差別：其一，早期圖靈測(cè)試并未明確的規(guī)定測(cè)試任務(wù)以及何種答案可以視為正確，這導(dǎo)致一些試圖通過(guò)圖靈測(cè)試的機(jī)器經(jīng)常采用摸棱兩可的方式來(lái)試圖避免直接回答。而當(dāng)今的無(wú)人駕駛車(chē)輛智能測(cè)試都對(duì)任務(wù)進(jìn)行了明確的界定；其二，早期圖靈測(cè)試有人來(lái)判定測(cè)試結(jié)果，而為了檢驗(yàn)無(wú)人駕駛車(chē)輛的識(shí)別算法是否通過(guò)各種可能場(chǎng)景的測(cè)試，我們必須使用機(jī)器來(lái)幫助判定數(shù)以萬(wàn)記的測(cè)試任務(wù)是否通過(guò)。

總之，我們需要建立一系列的可以量化的測(cè)試任務(wù)，這是智能性測(cè)試最根本的基礎(chǔ)。

3.1.2. 任務(wù)的驗(yàn)證

第二個(gè)困境是：如何保證被測(cè)智能機(jī)器在所遇到的所有場(chǎng)景中表現(xiàn)出其行為的一致性。因此需要保證任務(wù)測(cè)試的枚舉性/覆蓋性。

通俗的講，我們可以把任務(wù)看作是對(duì)智能機(jī)器測(cè)試的輸入，如果完成該任務(wù)，輸出“是”，反之輸出“否”。對(duì)于一些相對(duì)簡(jiǎn)單的智能性測(cè)試，通過(guò)枚舉所有可能的任務(wù)組合，我們可以窮盡可能的交通場(chǎng)景。如果車(chē)輛能通過(guò)所有這些場(chǎng)景，則車(chē)輛將足夠智能。但由于任務(wù)空間的時(shí)空連續(xù)性，枚舉是不可能完成的。因此，必須依賴虛擬采樣測(cè)試來(lái)加大如何合理采樣，在降低場(chǎng)景生成復(fù)雜度的同時(shí)，提升測(cè)試覆蓋性成為測(cè)試的關(guān)鍵技術(shù)。通過(guò)記錄受試車(chē)輛和其他車(chē)輛的軌跡，我們可以定量刻畫(huà)車(chē)輛的智能水平（駕駛性能）。

3.1.3. 仿真測(cè)試的設(shè)計(jì)

為了在有限的時(shí)間和財(cái)力內(nèi)盡量解決任務(wù)覆蓋問(wèn)題，現(xiàn)在的研究者多采取仿真測(cè)試來(lái)彌補(bǔ)實(shí)地測(cè)試的不足［4］。由此出發(fā)，研究者進(jìn)一步研究了如下諸多衍生問(wèn)題：

1）如何保證虛擬測(cè)試中虛擬物行為的真實(shí)性；

2）如何保證虛擬測(cè)試中虛擬物表現(xiàn)的豐富性；

3）如何保證虛擬測(cè)試中場(chǎng)景和任務(wù)的覆蓋性；

4）如何實(shí)現(xiàn)虛擬測(cè)試中機(jī)器判定的正確性。

例如在仿真測(cè)試方面，目前的無(wú)人駕駛車(chē)輛研究者考慮了如何從現(xiàn)實(shí)采集的2D圖像數(shù)據(jù)中提取物體的3D屬性，并在3D引擎中重新渲染并產(chǎn)生新的2D虛擬測(cè)試數(shù)據(jù)。而另外一些研究者則考慮了如何基于生成式對(duì)抗網(wǎng)絡(luò)來(lái)直接從2D實(shí)測(cè)圖像數(shù)據(jù)來(lái)生成新的2D虛擬測(cè)試數(shù)據(jù)。

再者，測(cè)試標(biāo)準(zhǔn)的設(shè)定也是研究者探討的熱點(diǎn)之一。對(duì)于駕駛這類典型的多目標(biāo)問(wèn)題，如何評(píng)價(jià)不同算法的優(yōu)劣并設(shè)計(jì)適應(yīng)不同用戶要求的測(cè)試標(biāo)準(zhǔn)尚有很大的難度。

3.1.4. 測(cè)試指標(biāo)的設(shè)定

測(cè)試指標(biāo)的設(shè)定的方法有幾種，第一種是要求智能機(jī)器做出類似人的行為表現(xiàn)。這種方法里首先需要確定人在完成該任務(wù)時(shí)會(huì)如何表現(xiàn)，然后再根據(jù)智能機(jī)器在完成該任務(wù)的過(guò)程中的表現(xiàn)和人的表現(xiàn)的區(qū)別來(lái)做判定。

第二種測(cè)試指標(biāo)設(shè)定方式是要求智能機(jī)器有最好的表現(xiàn)。比如，在設(shè)計(jì)針對(duì)圍棋的人工智能機(jī)器時(shí)，我們要求其能夠一直勝利，而不是像一個(gè)人類選手的方式去下棋。對(duì)于這一類目標(biāo)相對(duì)簡(jiǎn)單的情況下，這種方式更加合適。在智能車(chē)測(cè)試中，目標(biāo)往往比較復(fù)雜，不能像圍棋一樣以贏得棋局為目標(biāo)，需要考慮行駛安全性，速度，燃油效率等其他復(fù)雜的因素。以不同的因素為目標(biāo)會(huì)導(dǎo)致完全不同的設(shè)計(jì)。例如在2016，2017年的中國(guó)無(wú)人車(chē)未來(lái)挑戰(zhàn)賽中，智能車(chē)通過(guò)設(shè)定的10個(gè)特定場(chǎng)景任務(wù)的時(shí)間被作為評(píng)價(jià)指標(biāo)之一，如果發(fā)生了碰撞，壓線，闖紅燈，也會(huì)扣去相應(yīng)的分?jǐn)?shù)。當(dāng)人的感受被納入考察因素的時(shí)候，考慮到每個(gè)人對(duì)于同一件事物的感受都會(huì)有一定的區(qū)別，測(cè)試指標(biāo)的設(shè)定會(huì)變的更加艱難。

3.2. 智能車(chē)的智能性測(cè)試

我們這里以智能車(chē)的智能性測(cè)試為例，來(lái)說(shuō)明我們的觀點(diǎn)：

3.3.1. 智能性測(cè)試中測(cè)試任務(wù)的設(shè)定

傳統(tǒng)的無(wú)人駕駛車(chē)輛智能測(cè)試主要分為兩大流派：場(chǎng)景測(cè)試流派和功能測(cè)試流派。

1） 場(chǎng)景測(cè)試

往往是指處在特定時(shí)空中的測(cè)試系統(tǒng)。例如，交通場(chǎng)景一般指的是由眾多交通參與者和特定道路環(huán)境共同構(gòu)成的交通系統(tǒng)。如果受試車(chē)輛能夠自主行駛通過(guò)該交通系統(tǒng)，則稱為通過(guò)該特定場(chǎng)景的駕駛測(cè)試。例如DARPA 2005 年無(wú)人車(chē)挑戰(zhàn)賽便選取了212 公里的沙漠道路作為測(cè)試場(chǎng)景（其實(shí)2004年也是選擇了沙漠作為測(cè)試場(chǎng)景，但是“全軍覆沒(méi)”，相比之下，2005年則是一段光輝歲月）（Grand Challenge 2005）。DARPA 2007 年無(wú)人車(chē)挑戰(zhàn)賽則選取了96 公里的城市道路作為測(cè)試場(chǎng)景（Urban Challenge 2007）。

2） 功能測(cè)試

功能測(cè)試更加側(cè)重?zé)o人駕駛的單項(xiàng)或多項(xiàng)功能實(shí)現(xiàn)。依據(jù)人類智能的功能歸類方式，可將駕駛智能劃分成信息感知、分析決策、動(dòng)作執(zhí)行等較為概括的三大類能力。例如路徑規(guī)劃就屬于分析決策類的單項(xiàng)智能。該定義方式強(qiáng)調(diào)的是實(shí)現(xiàn)這些單項(xiàng)智能的方法和技術(shù)上的共性。但由于不能與具體的交通場(chǎng)景以及無(wú)人駕駛測(cè)試任務(wù)聯(lián)系起來(lái)，在衡量無(wú)人駕駛的智能水平方面有所不足。功能測(cè)試的隱含假設(shè)是，如果無(wú)人駕駛通過(guò)某種功能的一次或幾次測(cè)試，那么，以后需要使用該功能時(shí)也可以順利執(zhí)行。這一假設(shè)看似合乎邏輯，但事實(shí)證明，也過(guò)于樂(lè)觀。此外，目前的功能測(cè)試還存在其它問(wèn)題：

單一功能測(cè)試較多，綜合測(cè)試涉及較少，無(wú)法檢驗(yàn)多項(xiàng)功能之間的協(xié)同配合能力

缺少完備、公平、公開(kāi)的Benchmark集。

我們認(rèn)為，無(wú)人駕駛車(chē)輛的智能可以用廣義的語(yǔ)義網(wǎng)絡(luò)來(lái)定義。

語(yǔ)義網(wǎng)絡(luò)是一種采用網(wǎng)絡(luò)形式表示人類知識(shí)的方法，如今已在人工智能領(lǐng)域中得到了比較廣泛的應(yīng)用。語(yǔ)義網(wǎng)絡(luò)用有向圖來(lái)表達(dá)復(fù)雜的概念及其之間的相互關(guān)系。圖中的頂點(diǎn)表示概念，而邊則表示這些概念間的語(yǔ)義關(guān)系。

針對(duì)無(wú)人駕駛智能的廣義語(yǔ)義網(wǎng)絡(luò)分為場(chǎng)景、任務(wù)、單項(xiàng)能力和綜合能力四類節(jié)點(diǎn)。其中任務(wù)將場(chǎng)景和能力打通并連接起來(lái)，應(yīng)該是無(wú)人駕駛智能研究的核心，參見(jiàn)下圖。

*圖1. 無(wú)人駕駛智能定義的語(yǔ)義關(guān)系圖釋

場(chǎng)景一詞源于戲劇，是指在一定的時(shí)間、空間（主要是空間）內(nèi)發(fā)生的一定的任務(wù)行動(dòng)或因人物關(guān)系所構(gòu)成的具體人事片段。在系統(tǒng)學(xué)研究中，場(chǎng)景多被定義為處于特定時(shí)空中的特定系統(tǒng)。交通場(chǎng)景一般指的是由眾多交通參與者和特定道路環(huán)境共同構(gòu)成的特定交通系統(tǒng)。

任務(wù)原指交派的工作。駕駛?cè)蝿?wù)既可以指跟馳、換道、停車(chē)等某類一般性的駕駛工作，亦可指特定環(huán)境中的某項(xiàng)特定駕駛工作。

如果受試車(chē)輛能夠自主行駛完成某項(xiàng)特定任務(wù)，則稱為通過(guò)該特定任務(wù)的駕駛測(cè)試。相對(duì)于駕駛場(chǎng)景而言，駕駛?cè)蝿?wù)更為具體，時(shí)空范圍更為明確。一個(gè)特定的駕駛場(chǎng)景通常包含多個(gè)駕駛?cè)蝿?wù)。近兩年，中國(guó)智能車(chē)未來(lái)挑戰(zhàn)賽注意到了任務(wù)測(cè)試的重要性，精心設(shè)計(jì)了任務(wù)庫(kù)，測(cè)試無(wú)人駕駛車(chē)輛的特定能力。

不過(guò)，這里還存在一個(gè)問(wèn)題：通過(guò)測(cè)試任務(wù)，仍然不能說(shuō)明被測(cè)系統(tǒng)具備了無(wú)人駕駛智能和駕駛能力。駕駛能力一般指的是完成某種特定駕駛行為的能力。完成一個(gè)特定的駕駛?cè)蝿?wù)通常需要受試車(chē)輛具有多種駕駛能力。不同于場(chǎng)景和任務(wù)，每項(xiàng)駕駛能力可以被量化評(píng)估。進(jìn)一步將各個(gè)能力進(jìn)行匯總，即可定量評(píng)估整個(gè)無(wú)人駕駛車(chē)輛的駕駛能力。

在圖1所示的語(yǔ)義網(wǎng)絡(luò)中，沿著場(chǎng)景、任務(wù)直到能力之間的正向連接，我們可以從駕駛場(chǎng)景中梳理出具體駕駛能力，將能夠量化的駕駛能力指標(biāo)進(jìn)行細(xì)分和標(biāo)準(zhǔn)化，以便建立完備的測(cè)試體系。

而沿著從能力、任務(wù)直到場(chǎng)景之間的反向連接，我們可以根據(jù)功能測(cè)試需求，自動(dòng)產(chǎn)生合理的駕駛?cè)蝿?wù)乃至駕駛場(chǎng)景，解決測(cè)試配套的駕駛環(huán)境自動(dòng)設(shè)計(jì)問(wèn)題。待駕駛場(chǎng)景確定之后，便可以自動(dòng)化虛擬生成配套駕駛環(huán)境，用于無(wú)人駕駛智能的仿真測(cè)試和實(shí)路測(cè)試。

3.3.2. 智能性測(cè)試中測(cè)試場(chǎng)景的生成

基于圖1，場(chǎng)景測(cè)試位于該語(yǔ)義網(wǎng)絡(luò)的左端，而功能測(cè)試位于該語(yǔ)義網(wǎng)絡(luò)的右端。我們提出的無(wú)人駕駛智能體系，實(shí)際上是將已有的兩種無(wú)人駕駛智能定義方式融為一體，相輔相成?；谏鲜龆x，我們可以進(jìn)一步生成特定的測(cè)試場(chǎng)景。

生成測(cè)試場(chǎng)景，第一個(gè)要考慮的因素是，如何確定場(chǎng)景中所含有的任務(wù)，并確定這一系列任務(wù)的出現(xiàn)和需要完成的時(shí)間—空間位置。下圖2描述了一個(gè)非常簡(jiǎn)單場(chǎng)景中，受試車(chē)輛A的若干不同任務(wù)在任務(wù)時(shí)空?qǐng)D中是如何排布的。受試車(chē)輛需要在每個(gè)任務(wù)需要完成的截止時(shí)間和截止空間前完成該任務(wù)。同時(shí)下圖3描述了從抽象的測(cè)試場(chǎng)景到具體測(cè)試實(shí)例的轉(zhuǎn)換過(guò)程。

每個(gè)場(chǎng)景中的任務(wù)數(shù)目和時(shí)空排列決定了該測(cè)試場(chǎng)景的難易程度。任務(wù)數(shù)據(jù)越多越難，需要同時(shí)處理的任務(wù)數(shù)量越多越難。

*圖2. a） 一種典型的城市駕駛場(chǎng)景; b） 分配任務(wù)的時(shí)空排列; c） 隨時(shí)間變化的相應(yīng)計(jì)算開(kāi)銷(xiāo)

*圖3. 一個(gè)駕駛?cè)蝿?wù)逐級(jí)細(xì)化的過(guò)程也就是對(duì)于任務(wù)空間的抽樣過(guò)程，包括逐級(jí)確定分配任務(wù)的時(shí)空排列和創(chuàng)建實(shí)例

3.3.3. 智能車(chē)智能性測(cè)試框架

在傳統(tǒng)汽車(chē)測(cè)試開(kāi)發(fā)中我們經(jīng)常使用V字型開(kāi)發(fā)方法。如下圖所示，在這種方法中，人們?cè)陂_(kāi)發(fā)階段就定義了相應(yīng)級(jí)別的測(cè)試用例。

*圖4. 傳統(tǒng)汽車(chē)測(cè)試V字形開(kāi)發(fā)流程

V模型的第一階段是整體需求確認(rèn)階段，在該階段與整體需求對(duì)應(yīng)的測(cè)試用例也會(huì)提前定義。第二階段，第三階段分別是系統(tǒng)級(jí)別（High-Level-Design）以及子系統(tǒng)級(jí)別（Low-Level-Design）的設(shè)計(jì)和對(duì)應(yīng)測(cè)試用力的書(shū)寫(xiě)。在這兩個(gè)階段系統(tǒng)的功能會(huì)被分解細(xì)化，軟件中的各種類，以及類間關(guān)系會(huì)被定義。同時(shí)，也需要在這兩個(gè)階段書(shū)寫(xiě)同樣級(jí)別的測(cè)試用例。第四階段是模塊設(shè)計(jì)，在這個(gè)階段，子系統(tǒng)會(huì)進(jìn)一步分解成為小的模塊，對(duì)應(yīng)的對(duì)于模塊的測(cè)試用例也會(huì)在這個(gè)階段定義完成。

如果把我們提出的測(cè)試方法和V模型一一對(duì)應(yīng)，就能得到如下的Λ-V模型：不斷學(xué)習(xí)新示例，舉一反三，逐步完善任務(wù)描述。

*圖5. Λ-V模型測(cè)試框架

V模型對(duì)于傳統(tǒng)汽車(chē)研發(fā)這一類系統(tǒng)性和可推導(dǎo)性比較強(qiáng)的系統(tǒng)工程有較好的效果，但是由于我們需要在具體的編程之前就設(shè)計(jì)好所有的測(cè)試用例，這使得該模型在較為復(fù)雜的人工智能系統(tǒng)開(kāi)發(fā)中很難直接套用。

我們認(rèn)為，在開(kāi)發(fā)智能系統(tǒng)過(guò)程中，機(jī)器學(xué)習(xí)和測(cè)試如同一個(gè)硬幣的兩面，智能性測(cè)試應(yīng)該和機(jī)器學(xué)習(xí)有著類似的流程。

（a）

（b）

*圖6. 智能車(chē)測(cè)試框架

在平行學(xué)習(xí)的框架下，首先要解決的問(wèn)題是如何獲取新的數(shù)據(jù)用來(lái)學(xué)習(xí)，該階段我們稱為描述性學(xué)習(xí)階段；在第二階段，會(huì)從第一階段中提取特定的數(shù)據(jù)有針對(duì)性的進(jìn)行學(xué)習(xí)，從而獲得“小知識(shí)”，該階段我們稱為特定數(shù)據(jù)學(xué)習(xí)階段；第三階段是預(yù)測(cè)性學(xué)習(xí)階段，在該階段，會(huì)把前兩階段得來(lái)的數(shù)據(jù)和知識(shí)一一對(duì)應(yīng)，這種聯(lián)系也會(huì)被記錄下來(lái)。最后，所有的新數(shù)據(jù)會(huì)在第三階段已有聯(lián)系的基礎(chǔ)上找到對(duì)應(yīng)的“小知識(shí)”。

與此類似的，如圖6（b）所示，智能車(chē)的智能性測(cè)試也有著類似的流程。第一階段是創(chuàng)建新的測(cè)試任務(wù)。在這個(gè)過(guò)程中，在場(chǎng)景中的測(cè)試任務(wù)都會(huì)被逐步分解成為細(xì)化的功能。第二階段是在第一階段創(chuàng)建的測(cè)試任務(wù)中選取有挑戰(zhàn)性的部分（測(cè)試取樣）。最后一個(gè)階段是測(cè)試的執(zhí)行，也就是在前兩個(gè)階段創(chuàng)建的任務(wù)中觀察智能車(chē)的表現(xiàn)。在這個(gè)階段，我們需要從測(cè)試結(jié)果中得到兩類關(guān)聯(lián)信息，第一類是車(chē)輛智能性和其在我們搭建的測(cè)試環(huán)境中的表現(xiàn)的關(guān)聯(lián)，這種關(guān)聯(lián)對(duì)于我們?cè)谛碌臏y(cè)試任務(wù)中取樣有很大的幫助；第二種關(guān)聯(lián)是測(cè)試本身和測(cè)試環(huán)境的關(guān)聯(lián)，我們需要從不同的測(cè)試環(huán)境中學(xué)習(xí)到如何更好的創(chuàng)建測(cè)試任務(wù)。

我們提出了以上的智能性測(cè)試框架是基于以下考慮：

1） 如果不進(jìn)行測(cè)試，我們無(wú)法預(yù)知智能車(chē)的行為表現(xiàn)。所以，在沒(méi)有測(cè)試之前，我們也無(wú)法確認(rèn)哪些測(cè)試任務(wù)更加的具有挑戰(zhàn)性。所以我們需要通過(guò)不斷的測(cè)試，取樣，執(zhí)行，分析這樣一個(gè)循環(huán)來(lái)達(dá)到最優(yōu)的測(cè)試效果。

2） 測(cè)試本身就是一個(gè)自我標(biāo)定的自循環(huán)過(guò)程，我們必須根據(jù)測(cè)試結(jié)果來(lái)判定車(chē)輛的智能性。

3） 如果測(cè)試要覆蓋所有的智能車(chē)的功能所需要的資源是巨大無(wú)比的，所以，我們需要一些更優(yōu)的方法和工具來(lái)縮短這個(gè)過(guò)程。

3.3. 平行測(cè)試

3.3.1. 傳統(tǒng)虛擬仿真

目前很多研究人員都把更多的精力放在視覺(jué)領(lǐng)域的虛擬仿真，當(dāng)然，也有人開(kāi)始注意到駕駛員行為的重要性。在視覺(jué)領(lǐng)域的仿真中，有以下幾種圖像注入方式：1.采集真實(shí)的2D數(shù)據(jù)，然后基于該數(shù)據(jù)建立3D模型，再在此3D模型的基礎(chǔ)上上投影成2D的圖像注入智能車(chē)的感知系統(tǒng)；2.使用對(duì)抗式網(wǎng)絡(luò)生成新的2D模型注入； 3.基于以上兩種方法盡可能多的圖像注入。

3.3.2. 平行測(cè)試方法

我們這里提出一種新型的虛實(shí)結(jié)合的智能車(chē)平行測(cè)試方法。如圖7所示，車(chē)輛智能性測(cè)試可以分為三步：測(cè)試環(huán)境，測(cè)試規(guī)劃和測(cè)試執(zhí)行。同樣，我們?cè)谔摂M世界里也能夠建立一一映射的測(cè)試流程。

圖7. 平行測(cè)試方法

1） 首先在真實(shí)環(huán)境下建立有多種交通元素（十字路口，交通燈）的場(chǎng)景，對(duì)應(yīng)的在虛擬空間內(nèi)，根據(jù)不同的測(cè)試目標(biāo)，可以把該場(chǎng)景細(xì)分成不同的任務(wù)，功能團(tuán)，單個(gè)功能；

2） 基于這種分解模式，可以建立相應(yīng)的測(cè)試計(jì)劃來(lái)有針對(duì)性的測(cè)試不同的功能。例如假設(shè)我們要測(cè)試交通標(biāo)示識(shí)別和變道這兩個(gè)功能團(tuán)，很容易發(fā)現(xiàn)，交通標(biāo)示識(shí)別重要性沒(méi)有那么高，而測(cè)試變道能更好的提升車(chē)輛的可靠性。在測(cè)算了場(chǎng)景中包含的任務(wù)，以及任務(wù)中包含的功能團(tuán)之后，我們能選出包含更多的變道的任務(wù)來(lái)在真實(shí)環(huán)境中進(jìn)行測(cè)試，而包含更多交通標(biāo)志識(shí)別的任務(wù)可以在仿真環(huán)境中進(jìn)行測(cè)試；

3） 一旦制訂了在真實(shí)和虛擬環(huán)境中的測(cè)試計(jì)劃，按照計(jì)劃執(zhí)行之后對(duì)測(cè)試結(jié)果可信度以及功能重要性進(jìn)行加權(quán)就能得到相應(yīng)的加權(quán)分?jǐn)?shù)。同時(shí)，在真實(shí)環(huán)境中得到的測(cè)試數(shù)據(jù)又能注入仿真環(huán)境，通過(guò)這種方式，仿真環(huán)境能夠不斷更新加強(qiáng)。真實(shí)環(huán)境和虛擬環(huán)境中的測(cè)試是異步的，我們可以在真實(shí)環(huán)境進(jìn)行某一項(xiàng)測(cè)試的同時(shí)，在虛擬環(huán)境中進(jìn)行多項(xiàng)測(cè)試。

和傳動(dòng)的仿真測(cè)試環(huán)境相比，平行測(cè)試體系有如下兩個(gè)不同。

1. 平行的虛擬環(huán)境不僅僅是真實(shí)環(huán)境的一一映射，同時(shí)也和真實(shí)環(huán)境在狀態(tài)上存在交互，真實(shí)環(huán)境會(huì)影響虛擬環(huán)境，虛擬環(huán)境也會(huì)影響真實(shí)環(huán)境，這樣就形成了一個(gè)自我不斷增強(qiáng)系統(tǒng)；

2.平行系統(tǒng)是一種自我學(xué)習(xí)的系統(tǒng)，一些在虛擬環(huán)境中的關(guān)鍵元素是數(shù)據(jù)驅(qū)動(dòng)型，這使得平行系統(tǒng)比那些基于隨機(jī)模型的系統(tǒng)要更加自動(dòng)化，可信度也更高。

3.3.3. 平行測(cè)試實(shí)際應(yīng)用

在江蘇省常熟市，這樣一個(gè)平行測(cè)試系統(tǒng)已經(jīng)建立起來(lái)，并且很好的支持了2017年中國(guó)智能車(chē)未來(lái)挑戰(zhàn)賽。如圖8所示，我們先在虛擬環(huán)境中找到最具挑戰(zhàn)性的測(cè)試任務(wù)然后再在真實(shí)環(huán)境中進(jìn)行測(cè)試。

圖8. 平行測(cè)試實(shí)際應(yīng)用

4. 智能性測(cè)試的相關(guān)討論

4.1. 倫理道德問(wèn)題

包括圖靈在內(nèi)的大部分研究者都認(rèn)為人能夠按照自己的經(jīng)驗(yàn)做出正確的決定，而智能機(jī)器也應(yīng)該和人類一樣來(lái)完成這些決定，因此我們的工作就簡(jiǎn)化成為在智能測(cè)試中去判斷智能機(jī)器是否完成了和人類一樣的決定。

但是在某些情況下，哪怕是人類也很難確定什么是正確的，例如著名的鐵軌問(wèn)題：你是一輛剎車(chē)失靈的火車(chē)司機(jī)，在你前面的鐵軌上有5個(gè)人被綁在軌道上，你可以選擇切換到另外軌道，另外那條軌道上只有1個(gè)人綁在鐵軌上，那么請(qǐng)問(wèn)你會(huì)選擇撞死5個(gè)人還是切換軌道撞死1個(gè)人？對(duì)于這個(gè)問(wèn)題本文中不做更多的討論，即使是人類，在這個(gè)問(wèn)題上都很難做出“正確的”決定，更何況智能機(jī)器？所以在本文中我們不去討論這些問(wèn)題，我們也不會(huì)為倫理問(wèn)題設(shè)置智能性測(cè)試。

4.2. 測(cè)試結(jié)果的自動(dòng)實(shí)時(shí)分析

圖靈測(cè)試和現(xiàn)在很多新的智能測(cè)試的區(qū)別在于，圖靈測(cè)試用人來(lái)做判定，而新的智能測(cè)試使用的是機(jī)器來(lái)做判定。之所以這么做的原因在于我們清晰的定義了任務(wù)，同時(shí)很多情況下沒(méi)有機(jī)器的幫助人很難完成正確的判定。

以智能車(chē)測(cè)試為例，為了節(jié)約成本，我們往往在某一條測(cè)試路線上設(shè)置了多個(gè)測(cè)試任務(wù)，車(chē)輛需要不停歇的完成多個(gè)測(cè)試任務(wù)。

例如在中國(guó)智能車(chē)未來(lái)挑戰(zhàn)賽中就設(shè)置了14個(gè)測(cè)試任務(wù)，分別是U-Turn，通過(guò)T字型路口，通過(guò)十字路口，避讓作業(yè)車(chē)，隧道，停止標(biāo)志，避讓行人，右轉(zhuǎn)，鄉(xiāng)村道路，避讓自行車(chē)，施工區(qū)域，限速，停車(chē)。車(chē)輛需要連續(xù)通過(guò)這些任務(wù)點(diǎn)，為了能夠自動(dòng)測(cè)評(píng)，我們需要使用V2X設(shè)備連接車(chē)輛上的傳感器和數(shù)據(jù)中心，上傳車(chē)輛數(shù)據(jù)到數(shù)據(jù)中心來(lái)完成自動(dòng)測(cè)評(píng)。

*圖9. 智能車(chē)比賽測(cè)試項(xiàng)

青島慧拓智能機(jī)器有限公司聯(lián)合清華大學(xué)一起開(kāi)發(fā)了自動(dòng)測(cè)評(píng)系統(tǒng)并成功應(yīng)用于此次比賽中。如圖10所示，左邊展示的是正在比賽中的5輛車(chē)的實(shí)時(shí)軌跡和實(shí)時(shí)排名，右邊屏幕里是實(shí)時(shí)的視頻回傳數(shù)據(jù)，展示著裁判車(chē)數(shù)據(jù)，比賽車(chē)輛數(shù)據(jù)，以及場(chǎng)邊攝像頭數(shù)據(jù)。這些數(shù)據(jù)通過(guò)V2X或者4G的方式傳回?cái)?shù)據(jù)中心。

在2009年-2015年的比賽中，比賽由裁判來(lái)人工打分，這種方式比較主觀，也非常耗時(shí)。在2017年比賽中，大部分的任務(wù)可以通過(guò)回傳過(guò)來(lái)的數(shù)據(jù)實(shí)現(xiàn)自動(dòng)打分。我們同樣能夠通過(guò)深度學(xué)習(xí)的方式用視覺(jué)的方式來(lái)檢查車(chē)輛是否有壓線，來(lái)實(shí)現(xiàn)自動(dòng)打分，如圖11所示。

*圖10. 智能車(chē)比賽實(shí)時(shí)評(píng)測(cè)

*圖11. 實(shí)時(shí)壓線檢測(cè)

4.3. 駕駛員在環(huán)測(cè)試

按照上文中說(shuō)到，我們最終的目的是讓機(jī)器代替人來(lái)評(píng)價(jià)智能性測(cè)試結(jié)果。但是目前階段，這種情況卻難以完全實(shí)現(xiàn)。

首先，測(cè)試任務(wù)的描述需要由人類專家來(lái)完成。所有的任務(wù)描述都是使用人類語(yǔ)言，目前也并沒(méi)有一種計(jì)算機(jī)語(yǔ)言能夠更好的完成該任務(wù)。機(jī)器的智能水平往往受限于它的設(shè)計(jì)者，所以我們最終總是還是需要用人類的智慧來(lái)在衡量測(cè)試結(jié)果的基礎(chǔ)上提升機(jī)器的智能性水平。

其次，人類專家能夠按照自己的經(jīng)驗(yàn)更好的幫助機(jī)器設(shè)計(jì)那些極限的測(cè)試任務(wù)。

最后，人類是智能性測(cè)試的最后決策者，往往由機(jī)器做出的判斷還要由人類來(lái)檢查。就像在2017年中國(guó)智能車(chē)未來(lái)挑戰(zhàn)賽中視頻回傳系統(tǒng)就是方便人類專家隨時(shí)能夠監(jiān)督智能車(chē)的表現(xiàn)，這能夠讓人類和自動(dòng)打分系統(tǒng)同時(shí)以對(duì)方的判斷為基礎(chǔ)改善自己的評(píng)判能力。

4.4. 用測(cè)試來(lái)進(jìn)行智能水平分級(jí)

SAE把汽車(chē)自動(dòng)化水平分為從無(wú)自動(dòng)化到完全自動(dòng)化六個(gè)級(jí)別，但是在該分級(jí)體系中并沒(méi)有給出明確的需要完成的任務(wù)。現(xiàn)在有更多人認(rèn)為，只有明確了分級(jí)系統(tǒng)中的測(cè)試任務(wù)，才能更好的對(duì)汽車(chē)智能性水平進(jìn)行分級(jí)。

智能機(jī)器在特定的領(lǐng)域越來(lái)越智能，甚至在某些領(lǐng)域（比如圍棋領(lǐng)域的阿法狗，射擊領(lǐng)域的Top Gun）已經(jīng)超過(guò)了人類。也許在未來(lái)的某一天，機(jī)器能夠取代人成為智能性水平的最終定義者。

4.5. 可釋性測(cè)試

如同圖靈測(cè)試一樣，我們現(xiàn)在更多的關(guān)注智能機(jī)器的外在表現(xiàn)多于機(jī)器內(nèi)部的運(yùn)行機(jī)制。如果某智能機(jī)器通過(guò)了所有的測(cè)試任務(wù)，我們就承認(rèn)了其在該領(lǐng)域的智能性。但是我們很難知道怎樣的外在表現(xiàn)是最優(yōu)的。

當(dāng)今的智能機(jī)器越來(lái)越復(fù)雜，我們很難完全搞懂其內(nèi)部的算法（例如復(fù)雜的深度學(xué)習(xí)算法），這就類似于一個(gè)“黑盒子”。并且我們基于傳統(tǒng)可釋性邏輯制造出來(lái)的機(jī)器很難和這種“黑盒子”媲美，距今為止，很少有人能找出一種“內(nèi)外兼修”的測(cè)試方法，這將是未來(lái)一個(gè)很重要的研究方向。

4.6. 智能性測(cè)試在智能機(jī)器軟件開(kāi)發(fā)中的必要性

鑒于目前大部分AI的程序都是在電腦中通過(guò)編程完成，所以測(cè)試實(shí)現(xiàn)AI的軟件顯得尤為重要，所以我們需要建立一套完善的對(duì)這些軟件的測(cè)試體系。例如測(cè)試驅(qū)動(dòng)型開(kāi)發(fā)（TDD）就在當(dāng)今工業(yè)界被廣為接受：TDD最基礎(chǔ)的思路是首先把需求分解轉(zhuǎn)換成相應(yīng)的測(cè)試用例，然后不停的優(yōu)化軟件讓其通過(guò)這些測(cè)試。在這種研發(fā)思路中，我們能很好的保證軟件的質(zhì)量并能讓軟件有更好的可讀性。

目前在該領(lǐng)域最缺乏的是良好的測(cè)試和調(diào)試工具，這種對(duì)于AI軟件的測(cè)試工具市面上非常少。

4.7. 終生測(cè)試

就像前文所述的，現(xiàn)在有越來(lái)越多的方法來(lái)測(cè)試智能性，但是這些測(cè)試方法的落地還需要很長(zhǎng)一段時(shí)間。我們把這一落地過(guò)程稱之為“終生測(cè)試”（Life-long Testing）。我們應(yīng)該把AI機(jī)器的研發(fā)和測(cè)試當(dāng)作一個(gè)整體來(lái)考慮，隨著測(cè)試的不斷深入，機(jī)器的智能性也會(huì)因此而提升。

在當(dāng)今工業(yè)界，我們更多的是把多種“低級(jí)別”的簡(jiǎn)單機(jī)器進(jìn)行組合來(lái)制造“高級(jí)別”機(jī)器。很難想象，我們400年前只能制造一些很小的玩具，而如今我們卻有著十分復(fù)雜的GPU，CPU等。同樣的，我們相信在AI領(lǐng)域，也會(huì)是如此，會(huì)有更多的“高智能性”機(jī)器從“低智能性”機(jī)器中衍生而來(lái)，我們可以一起見(jiàn)證這一時(shí)刻的到來(lái)。

4.8. 測(cè)試的商業(yè)化

目前的AI革命正在極大的改變我們的生活，有很多人類的工作正在或者在不就的將來(lái)就會(huì)被機(jī)器代替。同時(shí)，新的AI領(lǐng)域也催生了一大批新的工作，智能性測(cè)試當(dāng)然也在其中之列，例如我們現(xiàn)在需要非常多的人來(lái)標(biāo)定視頻數(shù)據(jù)來(lái)訓(xùn)練我們的深度學(xué)習(xí)模型。

5. 結(jié)論

本文主要討論了智能性測(cè)試的難點(diǎn)，并以此為基礎(chǔ)提出了智能性測(cè)試方法：智能性測(cè)試和機(jī)器學(xué)習(xí)的過(guò)程類似，兩者如同一個(gè)硬幣的兩面。并且我們提出了虛實(shí)結(jié)合的平行測(cè)試方法：首先在虛擬環(huán)境中描述測(cè)試任務(wù)，然后進(jìn)行取樣，最后執(zhí)行測(cè)試，通過(guò)這個(gè)流程我們能夠找到其中最難的測(cè)試任務(wù)；另外，虛擬測(cè)試需要平行的去執(zhí)行，這樣可以幫助我們更好的找到更“真實(shí)”更“豐富”的測(cè)試數(shù)據(jù)集，這將極大的改善測(cè)試的效率和經(jīng)濟(jì)性。

但是，“終生測(cè)試”將是一場(chǎng)持久戰(zhàn)，目前我們還沒(méi)有能夠找到一個(gè)脫離人能夠自己運(yùn)行的虛實(shí)結(jié)合的平行測(cè)試系統(tǒng)，我們相信，這一天遲早會(huì)到來(lái)。