張正友博士：做了題為「計(jì)算機(jī)視覺(jué)的三生三世」的大會(huì)報(bào)告

7 月 12 日，騰訊 AI Lab & Robotics X 主任，ACM Fellow, IEEE Fellow, CVPR 2017 大會(huì)主席張正友博士為 CCF-GAIR 2019 主會(huì)場(chǎng)「AI 前沿專(zhuān)場(chǎng)」做了題為「計(jì)算機(jī)視覺(jué)的三生三世」的大會(huì)報(bào)告。

大家好！非常感謝雷鋒網(wǎng)的邀請(qǐng)，讓我有這個(gè)機(jī)會(huì)給大家做個(gè)分享。今年是中國(guó)人工智能四十周年，在這四十年間發(fā)生了很多事情，雷鋒網(wǎng)讓我跟大家講一講計(jì)算機(jī)視覺(jué)的前世、今生和可能的未來(lái)。其實(shí)這個(gè)報(bào)告應(yīng)該由我的好朋友香港科技大學(xué)權(quán)龍教授來(lái)講，他比我早一年出國(guó)，而且他現(xiàn)在還在港科大潛心研究計(jì)算機(jī)視覺(jué)。我這些年間，還有好多年在做語(yǔ)音處理和識(shí)別、多媒體處理和機(jī)器人，所以我在計(jì)算機(jī)視覺(jué)上的研究史還不算很長(zhǎng)。不過(guò)權(quán)龍教授有事沒(méi)法參加，我只能濫竽充數(shù)，給大家講講計(jì)算機(jī)視覺(jué)的一些故事。

雷鋒網(wǎng)找我是聽(tīng)說(shuō)我開(kāi)始研究計(jì)算機(jī)視覺(jué)比較早。我 1985 年浙大本科畢業(yè)，1986 年去法國(guó)，參與研發(fā)了可能是世界上第一臺(tái)用立體視覺(jué)導(dǎo)航的移動(dòng)機(jī)器人。

圖像處理

1986 年其實(shí)發(fā)生了很多事情，1986 年是我第一次參加國(guó)際會(huì)議，是在巴黎召開(kāi)的 ICPR（世界模式識(shí)別大會(huì)）。在這次大會(huì)上，我碰到了復(fù)旦大學(xué)的吳立德教授，他帶領(lǐng)了一支中國(guó)的代表團(tuán)，并在會(huì)上做了一場(chǎng)大會(huì)報(bào)告，介紹了中國(guó)在模式識(shí)別上的研究現(xiàn)狀，他們準(zhǔn)備申請(qǐng) 1988 年的 ICPR 在中國(guó)召開(kāi)。

這里需要提到一個(gè)關(guān)鍵性的人物，那就是普渡大學(xué)的傅京孫教授，他是模式識(shí)別領(lǐng)域的鼻祖。他是 1973 年第一屆 ICPR 的主席，1976 年創(chuàng)建了 IAPR，1978 年創(chuàng)刊了 IEEE TPAMI，并擔(dān)任第一屆主編。本來(lái)他是支持 1988 年 ICPR 在中國(guó)召開(kāi)的，但不幸的是 1985 年他去世了，所以 1988 年的申請(qǐng)沒(méi)有成功。如果 1988 年 ICPR 能在中國(guó)召開(kāi)，也許中國(guó)在模式識(shí)別和計(jì)算機(jī)視覺(jué)上的發(fā)展會(huì)更提前。當(dāng)然歷史沒(méi)有如果。ICPR 在中國(guó)的召開(kāi)等到了三十年以后，2018 年在譚鐵牛院士的帶領(lǐng)下，ICPR 第一次在中國(guó)召開(kāi)。

1986 年還有一個(gè)很重要的事件，就是我的法國(guó)學(xué)長(zhǎng)馬頌德回國(guó)，他創(chuàng)立了 NLPR（國(guó)家模式識(shí)別重點(diǎn)實(shí)驗(yàn)室）。NLPR 創(chuàng)立之后，吸引了大批國(guó)外的學(xué)者回國(guó)，同時(shí)邀請(qǐng)了很多國(guó)外的訪問(wèn)學(xué)者，中國(guó)計(jì)算機(jī)視覺(jué)領(lǐng)域開(kāi)始與國(guó)際接軌。當(dāng)然馬頌德是中國(guó)科技界重要人物，后來(lái)?yè)?dān)任科技部副部長(zhǎng)。1997 年他還創(chuàng)立了中法聯(lián)合實(shí)驗(yàn)室，這個(gè)實(shí)驗(yàn)室一半的研究人員都是法國(guó)人，這在中國(guó)也是一個(gè)壯舉。

提到計(jì)算機(jī)視覺(jué)，離不開(kāi)一個(gè)標(biāo)志性人物，MIT 的教授 David Marr。1979 年，剛好 40 年前，他提出了視覺(jué)計(jì)算的理論框架。Marr 的理論框架有三個(gè)層次，從計(jì)算什么，到如何表達(dá)和計(jì)算，到硬件的實(shí)施。

具體到三維重建，Marr 認(rèn)為從圖像要經(jīng)過(guò)幾個(gè)步驟，第一個(gè)步驟叫 primal sketch，也就是圖像處理，比如邊緣提取。所以到八十年代中葉，計(jì)算機(jī)視覺(jué)的主要工作是圖像處理。最有名的工作可能是 1986 年 MIT 一個(gè)碩士生發(fā)表的 Canny 邊緣檢測(cè)算子，基本上解決了邊緣提取的問(wèn)題。如下圖所示，左邊是原始圖像，右邊是檢測(cè)出的邊緣。

那時(shí)候還有一個(gè)比較有名的工作是華人科學(xué)家沈俊做的，他那時(shí)在法國(guó)波爾多大學(xué)。他比較了不同的算子。他的算子在有些圖像方面要比 Canny 檢測(cè)器要好。所以到了八十年代中葉，當(dāng)我留學(xué)法國(guó)的時(shí)候，圖像處理已經(jīng)做的差不多了。

立體視覺(jué)及三維重建

幸運(yùn)的是，幾何視覺(jué)剛開(kāi)始興起。有兩位代表人物，一位是法國(guó)的 Olivier Faugeras，他是我的博士導(dǎo)師，另一位是美國(guó)的 Thomas Huang，我們叫他 Tom。他們是好朋友，還一起寫(xiě)過(guò)文章。我 1987 年就認(rèn)識(shí) Tom，他對(duì)我有非常大的幫助。他培養(yǎng)了 100 多位博士，包括不少活躍在中國(guó)學(xué)術(shù)界和工業(yè)界的計(jì)算機(jī)視覺(jué)專(zhuān)家，他對(duì)中國(guó)計(jì)算機(jī)視覺(jué)的貢獻(xiàn)是非常巨大的。

我很榮幸?guī)煆?Olivier Faugeras，參與開(kāi)發(fā)了世界上第一臺(tái)用立體視覺(jué)導(dǎo)航的移動(dòng)機(jī)器人。1988 年我的第一個(gè)研究成果發(fā)表在第二屆 ICCV 上，右邊是在美國(guó) Florida 開(kāi)會(huì)的一張照片。那時(shí)候計(jì)算機(jī)視覺(jué)還沒(méi)有紅火，那屆 ICCV 大概只有 200 個(gè)參會(huì)者，華人就更少了，大概只有我、權(quán)龍，還有 Tom 的學(xué)生翁巨揚(yáng)。我在博士期間圍繞三維動(dòng)態(tài)場(chǎng)景分析做了不少工作，1992 年把這些整合成一本書(shū)發(fā)表。

現(xiàn)在我想舉一個(gè)簡(jiǎn)單的例子，不定性的建模和計(jì)算，希望通過(guò)下面這一頁(yè) PPT 你們就能明白什么是三維計(jì)算機(jī)視覺(jué)。

這里需要用到概率與統(tǒng)計(jì)，這非常重要，但現(xiàn)在做視覺(jué)的人往往忽略了。下面兩條線代表了兩個(gè)圖像平面。左邊圖像上一個(gè)白點(diǎn)對(duì)應(yīng)右邊圖像上一個(gè)白點(diǎn)。每個(gè)圖像點(diǎn)對(duì)應(yīng)空間一條直線，兩條直線相交就得到一個(gè)三維點(diǎn)，這就是三維重建。同樣，左邊圖像的黑點(diǎn)對(duì)應(yīng)右邊圖像的黑點(diǎn)，兩線相交得到一個(gè)三維點(diǎn)。但是圖像的點(diǎn)是檢測(cè)出來(lái)的，是有噪聲的。我們用橢圓來(lái)代表不定性，那么圖像的一個(gè)點(diǎn)就不對(duì)應(yīng)一條線了，而是一個(gè)椎體。兩個(gè)椎體相交，就代表了三維重建的點(diǎn)的不定性。這里可以看到，近的點(diǎn)要比遠(yuǎn)的點(diǎn)精確。當(dāng)我們用這些三維重建點(diǎn)的時(shí)候就需要考慮這些不定性。比如當(dāng)機(jī)器人從一個(gè)地方移動(dòng)到另一個(gè)地方，需要估計(jì)它的運(yùn)動(dòng)時(shí)就必須考慮數(shù)據(jù)的不定性。

90 年代初我提出了 ICP 算法，通過(guò)迭代點(diǎn)的匹配來(lái)對(duì)齊不同的曲線或曲面。這個(gè)算法也用在很多地方。我們現(xiàn)在經(jīng)常聽(tīng)到的SLAM，它其實(shí)就是我們以前做的從運(yùn)動(dòng)中估計(jì)結(jié)構(gòu)，三維重建，不定性估計(jì)，ICP。事實(shí)上，SLAM 在 90 年代初理論上已經(jīng)解決了。

1995 年我提出了魯棒的圖像匹配和極線幾何估計(jì)方法，同時(shí)把程序放到網(wǎng)上，大家都以此作為參照。這可能是世界上第一個(gè)，至少是之一，把計(jì)算機(jī)視覺(jué)的程序放到網(wǎng)上讓別人用真實(shí)圖像來(lái)測(cè)試的。所以這個(gè)算法那時(shí)候就成為計(jì)算機(jī)視覺(jué)的通用方法。

1998 年我提出了一個(gè)新的攝像機(jī)標(biāo)定法，后來(lái)大家都稱它為「張氏方法」，現(xiàn)在它已經(jīng)在全世界的三維視覺(jué)、機(jī)器人、自動(dòng)駕駛上普遍應(yīng)用，也獲得了IEEE Helmholtz 時(shí)間考驗(yàn)獎(jiǎng)。

1998 年我和馬頌德對(duì)日益成熟的幾何視覺(jué)做了總結(jié)，作為研究生教材由科學(xué)出版社出版。

1998 年還發(fā)生了很多事情，一個(gè)是 MSRA（微軟亞洲研究院）的成立，一個(gè)是騰訊公司的成立。這兩家看似無(wú)關(guān)的機(jī)構(gòu)其實(shí)對(duì)中國(guó)計(jì)算機(jī)視覺(jué)的發(fā)展，對(duì)中國(guó)人工智能的發(fā)展，起了不可估量的作用。MSRA 給中國(guó)帶來(lái)了國(guó)際先進(jìn)的研究方法和思路，培養(yǎng)了一大批中國(guó)的優(yōu)秀學(xué)者，同時(shí)也請(qǐng)了一些國(guó)外的研究學(xué)者來(lái)到中國(guó)。騰訊促進(jìn)了中國(guó)互聯(lián)網(wǎng)的發(fā)展，因?yàn)橛谢ヂ?lián)網(wǎng)，中國(guó)研究人員能夠幾乎實(shí)時(shí)地接觸到國(guó)際最頂尖的研究成果。所以這兩個(gè)結(jié)合，對(duì)中國(guó)人工智能領(lǐng)域的發(fā)展起到了很大的作用。

中國(guó)計(jì)算機(jī)視覺(jué)界一個(gè)重要的標(biāo)志性事件是 2005 年 ICCV 在北京召開(kāi)，馬頌德和 Harry Shum 擔(dān)任大會(huì)主席，這標(biāo)志著中國(guó)計(jì)算機(jī)視覺(jué)的研究水平已經(jīng)得到國(guó)際的認(rèn)同。我也很榮幸地從 Tom Huang 前輩手中接過(guò) IEEE Fellow 的證書(shū)。

深度學(xué)習(xí)的崛起

可能幾何視覺(jué)的理論已經(jīng)比較成熟了，90 年代末，計(jì)算機(jī)視覺(jué)的研究開(kāi)始進(jìn)入物體和場(chǎng)景的檢測(cè)和識(shí)別，主要方法是傳統(tǒng)特征加上機(jī)器學(xué)習(xí)。

那時(shí)候我做幾何視覺(jué)做了很長(zhǎng)時(shí)間，1997 年，我也開(kāi)始嘗試，開(kāi)發(fā)了世界上第一個(gè)用神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別人臉表情的系統(tǒng)，用的特征是 Gabor 小波。雖然 20 多年前就開(kāi)始人臉表情識(shí)別，但那時(shí)數(shù)據(jù)太少，一直到 2016 年我們才在微軟把人臉表情識(shí)別技術(shù)商業(yè)化，在微軟的認(rèn)知服務(wù)上，大家都可以調(diào)用。

在傳統(tǒng)特征加機(jī)器學(xué)習(xí)的年代，需要提一下一個(gè)里程碑的工作，那就是 2001 年的 Viola-Jones Detector。通過(guò) Harr 特征加級(jí)聯(lián)分類(lèi)器，人臉的檢測(cè)能夠做得非?？欤?20 年前的機(jī)器上就能做到實(shí)時(shí)。這對(duì)計(jì)算機(jī)視覺(jué)產(chǎn)生了很大的影響。此后的循環(huán)是一波一波的新數(shù)據(jù)集推出，加一波一波的算法刷榜。

2009 年一個(gè)叫 ImageNet 的數(shù)據(jù)集出現(xiàn)了，這是斯坦福大學(xué)李飛飛團(tuán)隊(duì)推出的，這個(gè)數(shù)據(jù)集非常重要，它的意義不在于這個(gè)數(shù)據(jù)集很大，而在于幾年后催生了深度學(xué)習(xí)時(shí)代。

2012 年，Geoffrey Hinton 的兩個(gè)學(xué)生開(kāi)發(fā)了 AlexNet，用了 8 層神經(jīng)網(wǎng)絡(luò)，6 千萬(wàn)參數(shù)，誤差比傳統(tǒng)方法降了十幾個(gè)百分點(diǎn)，從 26% 降到 15%，從此開(kāi)啟了計(jì)算機(jī)視覺(jué)的深度學(xué)習(xí)時(shí)代。這個(gè) AlexNet 結(jié)構(gòu)其實(shí)和 1989 年 Yann LeCun 用于手寫(xiě)數(shù)字識(shí)別的神經(jīng)網(wǎng)絡(luò)沒(méi)有很大區(qū)別，只是更深更大。

由于 Geoffrey Hinton, Yoshua Bengio, Yann LeCun 對(duì)深度學(xué)習(xí)的貢獻(xiàn)，他們共同獲得了 2018 年的圖靈獎(jiǎng)。這個(gè)獎(jiǎng)他們當(dāng)之無(wú)愧。要知道 Geoffrey Hinton 1986 年就提出了 backpropagation，坐了 25 年的冷板凳。

在深度學(xué)習(xí)時(shí)代還有一個(gè)里程碑的工作，2015 年，微軟亞洲研究院的何愷明和孫劍提出 ResNet，用了 152 層神經(jīng)網(wǎng)絡(luò)，在 ImageNet 測(cè)試集上的誤差比人還低，降到了 4% 以下。

我在深度學(xué)習(xí)領(lǐng)域也有一點(diǎn)貢獻(xiàn)。2014 年我和 UCSD 的屠卓文合作，提出了 DSN（Deeply- Supervised Nets）深度監(jiān)督網(wǎng)絡(luò)，雖然影響沒(méi)有 ResNet 大，但也有近一千次引用。我們的想法是直接讓輸出監(jiān)督中間層，使得最底層盡可能最大逼近要學(xué)習(xí)的函數(shù)，同時(shí)也緩解梯度「爆炸」或「消失」。

剛剛過(guò)去的 CVPR2019 可以被稱為是華人的盛典，在組織者里面有很多華人面孔，包括大會(huì)主席朱松純、程序委員會(huì)主席華剛和屠卓文。在五千多篇投稿中，40% 來(lái)自大陸，最佳論文獎(jiǎng)和最佳學(xué)生論文獎(jiǎng)的第一作者也都是華人。所以中國(guó)的計(jì)算機(jī)視覺(jué)能力還是很強(qiáng)的，這一點(diǎn)值得驕傲。

計(jì)算機(jī)視覺(jué)的研究要回歸初心

現(xiàn)在讓我們回顧一下計(jì)算機(jī)視覺(jué)研究的演變，從最初的圖像處理、立體視覺(jué)與三維重建、物體檢測(cè)和識(shí)別，到光度視覺(jué)、幾何視覺(jué)和語(yǔ)義視覺(jué)，到現(xiàn)在的深度學(xué)習(xí)打遍天下。這是讓我擔(dān)憂的。深度學(xué)習(xí)有很多局限性。

我認(rèn)為接下來(lái)應(yīng)該要回歸初心，讓光度視覺(jué)、幾何視覺(jué)和語(yǔ)義視覺(jué)緊密結(jié)合起來(lái)，同時(shí)注入常識(shí)和領(lǐng)域知識(shí)，和語(yǔ)言進(jìn)行多模態(tài)融合，通過(guò)學(xué)習(xí)不斷演變。

我們騰訊 AI Lab 在這方面也開(kāi)始做了一點(diǎn)點(diǎn)工作。比如我們的看圖說(shuō)話項(xiàng)目能夠用語(yǔ)言描述一張照片的內(nèi)容，2018 年 1 月，我們上線 QQ 空間 app 讓視障用戶「看到」圖片。

我們還整合了計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別和自然語(yǔ)言處理技術(shù)，開(kāi)發(fā)了一個(gè)虛擬人產(chǎn)品，探索多模態(tài)人機(jī)交互，賦能其他場(chǎng)景，助力社交。我們還開(kāi)發(fā)了二次元的虛擬人來(lái)做游戲解說(shuō)，它能實(shí)時(shí)理解游戲場(chǎng)景并將它描述出來(lái)。

那么現(xiàn)在的人工智能真的智能嗎？想象一下，如果一個(gè)人想要蓋住你的眼睛，你會(huì)怎么做？我是會(huì)躲開(kāi)的。但是從我剛才播放的視頻中可以看到，現(xiàn)在的監(jiān)控系統(tǒng)顯然沒(méi)有這樣的舉止?，F(xiàn)在的人工智能只是機(jī)器學(xué)習(xí)：從大量的標(biāo)注數(shù)據(jù)去學(xué)習(xí)一個(gè)映射。

什么是真正的智能？我想目前還沒(méi)有定論，而且我們對(duì)我們自己的智能還沒(méi)有足夠的了解。不過(guò)我很認(rèn)同瑞士認(rèn)知科學(xué)家 Jean Piaget 說(shuō)的，智能是當(dāng)你不知道如何做的時(shí)候你用的東西。我認(rèn)為這個(gè)定義是非常有道理的。當(dāng)你無(wú)法用你學(xué)到的東西或天賦去面對(duì)時(shí)，你動(dòng)用的東西就是智能。如何去實(shí)現(xiàn)有智能的系統(tǒng)呢？可能有很多條路，但我認(rèn)為一條很重要的路是需要把載體考慮進(jìn)去，做有載體的智能，也就是機(jī)器人。

在機(jī)器人領(lǐng)域，我提出了 A2G 理論。A 是 AI，機(jī)器人必須能看能聽(tīng)能說(shuō)能思考，B 是 Body 本體，C 是 Control 控制，ABC 組成了機(jī)器人的基礎(chǔ)能力。D 是 Developmental Learning，發(fā)育學(xué)習(xí)，E 是 EQ，情感理解、擬人化，F(xiàn) 是 Flexible Manipulation，靈活操控。最后要達(dá)到 G，G 是 Guardian Angel，守護(hù)天使。

騰訊做了三款機(jī)器人：絕藝圍棋機(jī)器人、桌上冰球機(jī)器人，還有機(jī)器狗?？梢詾榇蠹艺故緳C(jī)器狗的視頻，機(jī)器狗具備感知系統(tǒng)，能夠繞開(kāi)障礙物，看到懸空的障礙物能匍匐前進(jìn)，看到前面一個(gè)人能蹲下來(lái)看著人。

我的報(bào)告就到這里，騰訊的 AI 使命是 Make AI Everywhere，我們一定會(huì)善用人工智能，讓人工智能造福人類(lèi)，因?yàn)榭萍枷蛏啤Ｖx謝大家。