“走進(jìn)人工智能 探索深度學(xué)習(xí)”主題演講

2019年12月30日，由中國金融信息中心、中國科學(xué)院上海分院主辦，中科院院士上海浦東活動中心協(xié)辦，與浙江省新昌縣人民政府全程戰(zhàn)略合作，中國信息通信研究院華東分院（簡稱“中國信通院華東分院”）特別支持的“海上院士講壇”特別專場在中國金融信息中心舉行。人工智能和信息科學(xué)領(lǐng)域國際知名學(xué)者、澳大利亞科學(xué)院院士、悉尼大學(xué)教授陶大程博士受邀做“走進(jìn)人工智能 探索深度學(xué)習(xí)”主題演講。

以下為會議實(shí)錄：

領(lǐng)導(dǎo)致辭

中國金融信息中心副總裁張鳳明

中國金融信息中心副總裁張鳳明在致辭中表示，作為新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動力量，人工智能正在深刻改變世界。上海市委書記李強(qiáng)指出，上海將把發(fā)展人工智能作為優(yōu)先戰(zhàn)略選擇，主動謀劃，加緊布局，密集發(fā)力，加快建設(shè)人工智能發(fā)展的“上海高地”，全力打造要素齊全、開放協(xié)同的良好生態(tài)。近期，為加快建設(shè)上海金融科技中心，市有關(guān)部門制定了《關(guān)于加快推進(jìn)上海金融科技中心建設(shè)的實(shí)施方案》，方案指出要聚焦大數(shù)據(jù)、人工智能、5G等新技術(shù)，推進(jìn)金融科技核心技術(shù)研發(fā)及應(yīng)用。

無論是政策層面，還是應(yīng)用場景和市場，人工智能已是未來已來。今天我們很榮幸地請到了人工智能和信息科學(xué)領(lǐng)域國際知名學(xué)者，澳大利亞科學(xué)院院士、歐洲科學(xué)院外籍院士陶大程為我們暢談人工智能與深度學(xué)習(xí)理論，分享前沿觀點(diǎn)。

中國金融信息中心是新華社直屬機(jī)構(gòu)，是新華社和上海市政府戰(zhàn)略合作的成果，服務(wù)于上海國際金融中心建設(shè)的國家戰(zhàn)略，是一個開放、服務(wù)、共享、多贏的專業(yè)化、國際化平臺。上海國際金融中心的建設(shè)，背后必然需要信息、知識和智慧中心的支撐，我們舉辦的眾多講壇、活動匯聚思想、傳播聲音，為推進(jìn)上海金融科技中心發(fā)聲，也希望能為構(gòu)建人工智能發(fā)展的“上海高地”貢獻(xiàn)力量。

中國信通院華東分院副院長匡曉烜

中國信通院華東分院副院長匡曉烜表示，現(xiàn)實(shí)生活中，人工智能技術(shù)正面臨著許多待解決的難題，人工智能的應(yīng)用還存在很大的局限性，它的發(fā)展需要政府、學(xué)術(shù)界、產(chǎn)業(yè)界等多方協(xié)同，共創(chuàng)共贏。作為由中國信息通信研究院（簡稱“中國信通院”）、上海市經(jīng)濟(jì)和信息化委員會等聯(lián)合共建的地方政府智庫和研發(fā)創(chuàng)新平臺，中國信通院華東分院正致力于人工智能領(lǐng)域的研究和發(fā)展。

中國信通院華東分院這次有幸邀請到陶大程博士出席“海上院士講壇”特別專場， 陶教授作為人工智能和信息科學(xué)領(lǐng)域國際知名學(xué)者，是澳大利亞科學(xué)院院士、悉尼大學(xué)教授，在人工智能領(lǐng)域，包括計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)、表征學(xué)習(xí)及相關(guān)應(yīng)用等方面做出了卓越的貢獻(xiàn)。2014年陶教授當(dāng)選IEEE Fellow，2019年當(dāng)選ACM Fellow。12月30日是一場跨年演講，希望他在深度學(xué)習(xí)領(lǐng)域的探索心得將為大家?guī)韱l(fā)和思考。

主旨演講

澳大利亞科學(xué)院院士、悉尼大學(xué)教授陶大程博士

人工智能和信息科學(xué)領(lǐng)域國際知名學(xué)者、澳大利亞科學(xué)院院士、悉尼大學(xué)教授陶大程博士從“什么是深度學(xué)習(xí)、為什么要深度學(xué)習(xí)、為什么要使用殘差連接skip connections、深度學(xué)習(xí)中的部分超參的關(guān)系、深度神經(jīng)網(wǎng)絡(luò)的風(fēng)險函數(shù)的性質(zhì)、對抗生成網(wǎng)絡(luò)的重要性、以及未來在倫理道德框架下構(gòu)建四元融合一體的人工智能系統(tǒng)的重要性”等方面剖析了人工智能與深度學(xué)習(xí)理論。

什么是深度學(xué)習(xí)？

我們今天演講的內(nèi)容是人工智能中的一個關(guān)鍵技術(shù)--深度學(xué)習(xí)。首先我們探討一下，什么是人工智能？根據(jù)維基百科的解釋：人工智能就是機(jī)器所展示出來的智能，人工智能的目的是用機(jī)器模仿人的智能，那就要求我們理解人的智能。人的智能包括四個方面，Perceiving、Learning、Reasoning和Behaving。所以我們對人工智能期望是：在符合人的倫理道德規(guī)范的框架下，能夠有效地去實(shí)現(xiàn)并且整合這四個方面的智能。

談到人工智能，目前大家一定會想到的技術(shù)就是深度學(xué)習(xí)。深度學(xué)習(xí)在今天的機(jī)器視覺領(lǐng)域里無處不在，比如上面顯示的這張圖是我們在2018年的時候做的一個demo的截圖，使用我們自己的算法和模型，一年多以前就已經(jīng)可以做精確的場景分割、實(shí)例分割、單目標(biāo)跟蹤、多目標(biāo)跟蹤、人體姿態(tài)估計(jì)、人臉檢測、人臉的特征點(diǎn)檢測、人臉的表情分析、年齡估計(jì)、性別的識別等，甚至如果我們有每一個人的參考圖像，我們還可以識別出每一個人。利用深度學(xué)習(xí)技術(shù)，我們還可以估算出圖像中每一個人或者每一個物體到攝像機(jī)的距離。

除了從圖象和視頻中精準(zhǔn)的獲取這些基礎(chǔ)語義信息，深度學(xué)習(xí)還能處理圖像，比如去噪、去霧、去雨、去模糊、超分辨等。這里展示了三張非常模糊的照片，看到這樣的圖像，我們會很自然的想到這樣的問題：為什么照相的時候會產(chǎn)生模糊？過去我們拿到這樣的照片，主要考慮如何有效的去除模糊，今天有了深度學(xué)習(xí)，我們能夠想一些更有意思的事情。既然模糊是由于相機(jī)運(yùn)動產(chǎn)生的，那么有運(yùn)動，我們是不是可以把這個視頻恢復(fù)出來？是不是可以把場景的光流恢復(fù)出來？甚至是不是可以把整個場景的三維結(jié)構(gòu)恢復(fù)出來？2019年的CVPR上，我們首次利用深度學(xué)習(xí)成功的從單張模糊圖像中把場景的三維結(jié)構(gòu)恢復(fù)出來。

深度學(xué)習(xí)似乎完全改變了機(jī)器視覺研究的基本方案和思路，可以說今天的機(jī)器視覺，幾乎離不開深度學(xué)習(xí)。不少人也詬病深度學(xué)習(xí)沒有實(shí)質(zhì)的技術(shù)進(jìn)展，只是傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)進(jìn)行了加深。目前的成功應(yīng)用，主要的貢獻(xiàn)來自于大數(shù)據(jù)、超級計(jì)算（或者說是云計(jì)算）。有了大數(shù)據(jù)、有了云計(jì)算，才能使得我們今天的深度學(xué)習(xí)能夠訓(xùn)練成功，這一切的原動力很大程度上要?dú)w功于產(chǎn)業(yè)界的需求、政府的需求、以及我們自身的需求。

深度學(xué)習(xí)，為什么要深以及其它基本問題

目前的深度學(xué)習(xí)是不是僅僅是網(wǎng)絡(luò)層的簡單堆疊？它對于機(jī)器視覺等領(lǐng)域的貢獻(xiàn)到底是什么呢？要深入理解這樣的問題，我們需要回到統(tǒng)計(jì)學(xué)習(xí)。

我們知道統(tǒng)計(jì)學(xué)習(xí)涉及訓(xùn)練誤差、測試誤差和泛化誤差。隨著模型復(fù)雜度的增加，訓(xùn)練誤差一定是減小的，但是泛化誤差是增加的。所以我們需要找到訓(xùn)練誤差和泛化誤差的平衡點(diǎn)，保證測試誤差盡可能的小。

如果說隨著網(wǎng)絡(luò)層數(shù)的增加，泛化誤差是增加的，那訓(xùn)練極深層網(wǎng)絡(luò)的意義是什么？我們也知道訓(xùn)練神經(jīng)網(wǎng)絡(luò)的時候，各個公司之前都標(biāo)榜可以訓(xùn)練更深的神經(jīng)網(wǎng)絡(luò)模型。而事實(shí)也是，隨著網(wǎng)絡(luò)層數(shù)的增加，只要訓(xùn)練得當(dāng)，測試誤差也通常是減小的。這似乎與我們的傳統(tǒng)認(rèn)識是矛盾的：因?yàn)樵缴畹纳窠?jīng)網(wǎng)絡(luò)，參數(shù)空間越大，模型復(fù)雜度也應(yīng)該越高。傳統(tǒng)的統(tǒng)計(jì)學(xué)習(xí)理論認(rèn)為，參數(shù)空間越大，模型復(fù)雜度越高，那么它對訓(xùn)練數(shù)據(jù)的擬合能力就越強(qiáng)，但是泛化能力會變得越差。對于一個機(jī)器學(xué)習(xí)模型，如果它的訓(xùn)練誤差遠(yuǎn)小于測試誤差，那么它就發(fā)生了過擬合。因此，在現(xiàn)有的統(tǒng)計(jì)學(xué)習(xí)理論框架下，對于神經(jīng)網(wǎng)絡(luò)，有兩個尚未解決的問題：首先，為什么模型復(fù)雜度非常高的深度神經(jīng)網(wǎng)絡(luò)，不會發(fā)生過擬合？其次，深度神經(jīng)網(wǎng)絡(luò)是越深越好嗎？我們最近的研究有三個觀察（“An Information-Theoretic View for Deep Learning”）：

和傳統(tǒng)的淺層學(xué)習(xí)模型（例如，SVM）不同，深度神經(jīng)網(wǎng)絡(luò)具有層級的特征映射結(jié)構(gòu)。神經(jīng)網(wǎng)絡(luò)的這種層級的結(jié)構(gòu)是否是在模型復(fù)雜度很高的情況下，避免發(fā)生過擬合的關(guān)鍵呢？我們的工作肯定地回答了這個問題：層級結(jié)構(gòu)是深度神經(jīng)網(wǎng)絡(luò)泛化能力的關(guān)鍵保證。

1、 傳統(tǒng)的泛化誤差上界，都是通過模型的函數(shù)空間的復(fù)雜度來估計(jì)的，例如VC維，Rademacher復(fù)雜度。這種估計(jì)忽略了數(shù)據(jù)分布，考慮模型的函數(shù)空間里最壞的情況。因此泛化誤差上界的估計(jì)對于函數(shù)空間很大的深度模型會非常松，而因此不再適用，而實(shí)際情況下，模型的泛化能力是和數(shù)據(jù)分布相關(guān)的。受到最近的一些在信息論和自適應(yīng)數(shù)據(jù)分析的工作的啟發(fā)，我們可以用神經(jīng)網(wǎng)絡(luò)學(xué)到的特征T_L和最后一層網(wǎng)絡(luò)的參數(shù)h的互信息，來作為泛化誤差的上界。直觀地來講，網(wǎng)絡(luò)的輸出對于輸入的依賴性越小，其泛化能力越強(qiáng)。

3、受到信息論中數(shù)據(jù)處理不等式的啟發(fā)，只要網(wǎng)絡(luò)每一層的映射不是可逆的，例如使用了Relu激活函數(shù)，卷積和池化，網(wǎng)絡(luò)所學(xué)到的特征和最后一層參數(shù)的互信息都會隨著層數(shù)的增加而減少。因此，網(wǎng)絡(luò)越深，模型的泛化能力越強(qiáng)。但是隨著網(wǎng)絡(luò)層數(shù)的增加，在映射過程中可能會丟失對于數(shù)據(jù)擬合的有用的信息，這種情況下，在訓(xùn)練集上的擬合誤差會變大。因此，網(wǎng)絡(luò)越深泛化能力雖然隨著層數(shù)增加變得更強(qiáng)，但是要想整個網(wǎng)絡(luò)性能好，是建立在對訓(xùn)練數(shù)據(jù)的擬合誤差很小的情況下。

我們的主要結(jié)論是這樣一個泛化誤差的上界，假設(shè)網(wǎng)絡(luò)的層數(shù)為L，那么其泛化誤差會隨著層數(shù)的增加而指數(shù)衰減。當(dāng)然這里還有一些假設(shè)，比如不能有skip connections。深入理解深度學(xué)習(xí)的價值和意義，還需要大家付出更多的努力。但是目前的結(jié)論已經(jīng)讓我們有足夠的信心，堅(jiān)定深度學(xué)習(xí)這個大方向。

那么殘差鏈接skip connections有什么樣的作用呢？殘差連接已被眾多實(shí)驗(yàn)證明，可以顯著降低神經(jīng)網(wǎng)絡(luò)的訓(xùn)練難度，且不會降低神經(jīng)網(wǎng)絡(luò)的泛化能力。我們的工作“Why ResNet works？ Residual generalize”（TNNLS 2020）使用covering number、Rademacher復(fù)雜度等理論工具，給出了ResNet的假設(shè)空間復(fù)雜度和泛化誤差的上界。這些結(jié)果進(jìn)而和鏈狀網(wǎng)絡(luò)的結(jié)果進(jìn)行了比較。比較顯示，引入殘差連接不會增大神經(jīng)網(wǎng)絡(luò)的假設(shè)空間復(fù)雜度，進(jìn)而不會降低神經(jīng)網(wǎng)絡(luò)的泛化能力，從而從理論方面驗(yàn)證了現(xiàn)有的實(shí)驗(yàn)結(jié)果。這樣的分析具有相當(dāng)?shù)钠者m性，可以用于深入理解ResNeXt、DenseNet、U-Net等目前常用的網(wǎng)絡(luò)結(jié)構(gòu)。

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程極端依賴超參數(shù)的設(shè)置。我們的工作“Control batch size and learning rate to generalize well： Theoretical and empirical evidence”（NeurIPS 2019）從理論和實(shí)驗(yàn)兩個角度，研究學(xué)習(xí)率和批量規(guī)模對神經(jīng)網(wǎng)絡(luò)泛化能力的影響。在理論方面，我們使用Ornstein-Uhlenbeck過程和PAC-Bayes 理論得到了神經(jīng)網(wǎng)絡(luò)的泛化誤差上界。該上界表明，神經(jīng)網(wǎng)絡(luò)的泛化能力和學(xué)習(xí)率與批量規(guī)模的比值負(fù)相關(guān)。在實(shí)驗(yàn)方面，我們在相同數(shù)據(jù)集上，基于相同網(wǎng)絡(luò)結(jié)構(gòu)，用不同的學(xué)習(xí)率和批量規(guī)模訓(xùn)練了1600個網(wǎng)絡(luò)。這些網(wǎng)絡(luò)的測試精度被劃分為164組進(jìn)行了斯皮爾曼秩相關(guān)檢驗(yàn)，實(shí)驗(yàn)結(jié)果充分驗(yàn)證了上述提到的相關(guān)關(guān)系。

理解神經(jīng)網(wǎng)絡(luò)風(fēng)險函數(shù)的幾何性質(zhì)對研究神經(jīng)網(wǎng)絡(luò)的表示能力、優(yōu)化性質(zhì)、泛化性質(zhì)都非常重要 。然而損失曲面（風(fēng)險函數(shù)所對應(yīng)的曲面）的幾何結(jié)構(gòu)極端復(fù)雜，鮮有理論工作進(jìn)行了精確地刻畫。曾有工作建議，可以把線性網(wǎng)絡(luò)（激活函數(shù)全部線性的神經(jīng)網(wǎng)絡(luò)）損失曲面的幾何性質(zhì)推廣到一般網(wǎng)絡(luò)。例如，線性網(wǎng)絡(luò)中，所有局部最優(yōu)點(diǎn)都同樣地好，它們都是全局最優(yōu)點(diǎn)。我們的工作“Piecewise linear activations substantially shape the loss surface of neural networks”（ICLR2020）指出，往線性網(wǎng)絡(luò)中引入非常常見的分段線性激活函數(shù)（例如，ReLU 和 Leaky-ReLU），可以顯著改變損失曲面的幾何性質(zhì)。具體來說，我們得到了以下幾個結(jié)論：

1、 損失曲面存在無窮多局部最優(yōu)點(diǎn)劣于全局最優(yōu)點(diǎn)（這些局部最優(yōu)點(diǎn)又叫“謬點(diǎn)（spurious local minima）”）；

2、 極端不可微且非凸的損失曲面被不可微的邊界劃分為若干幾何性質(zhì)良好（光滑、多線性）的“細(xì)胞”；

3、 在每一個細(xì)胞中，所有局部最優(yōu)點(diǎn)都同樣好，它們都是細(xì)胞內(nèi)的全局最優(yōu)點(diǎn)；

4、 有無窮多的謬點(diǎn)分布在同一個細(xì)胞中，它們連在一起，構(gòu)成一個聯(lián)通的“山谷”；

5、線性網(wǎng)絡(luò)的損失曲面也包含在上述理論之中，對應(yīng)了單細(xì)胞的情形。

今天的深度學(xué)習(xí)，和過去傳統(tǒng)的機(jī)器學(xué)習(xí)或者統(tǒng)計(jì)學(xué)習(xí)，有很好的縱向?qū)Ρ汝P(guān)系?；诮y(tǒng)計(jì)學(xué)習(xí)的系統(tǒng)：拿到原始數(shù)據(jù)之后我們先抽特征，然后是數(shù)據(jù)降維，最后做分類。這三個步驟的目標(biāo)往往是不一致的，比如分類的目標(biāo)是不同類的樣本的邊界最大化、降維的目標(biāo)是保持?jǐn)?shù)據(jù)網(wǎng)差、特征提取是根據(jù)數(shù)據(jù)的一些屬性進(jìn)行設(shè)計(jì)的。

過去我們沒有考慮到如何把特征設(shè)計(jì)、數(shù)據(jù)降維和分類的目標(biāo)一致化，因?yàn)樘卣鞯脑O(shè)計(jì)完全是基于人的經(jīng)驗(yàn)，非常的復(fù)雜。深度學(xué)習(xí)把特征提取、數(shù)據(jù)降維和分類整合到了一個網(wǎng)絡(luò)框架下，因此這三個步驟的目標(biāo)都一致了，并且通過數(shù)據(jù)驅(qū)動的方式，深度學(xué)習(xí)在一定程度上可以減少人對問題的偏見，但是也同時引入的數(shù)據(jù)對問題的偏見。這也要求我們在構(gòu)建訓(xùn)練數(shù)據(jù)集的時候，要從不同角度考慮問題，減少偏見。

對抗生成網(wǎng)絡(luò)的重要性

學(xué)習(xí)和操控現(xiàn)實(shí)世界數(shù)據(jù)（如圖像）的概率分布是統(tǒng)計(jì)和機(jī)器學(xué)習(xí)的主要目標(biāo)之一，而近些年提出的深度生成對抗網(wǎng)絡(luò)（GAN）就是學(xué)習(xí)復(fù)雜數(shù)據(jù)概率概率分布的常用方法。

GAN網(wǎng)絡(luò)一經(jīng)提出就引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注，這是因?yàn)檫@個學(xué)習(xí)框架在許多生成相關(guān)的任務(wù)上取得了令人信服的表現(xiàn)，例如圖像生成，圖像“翻譯”和風(fēng)格變換。但是，現(xiàn)有算法仍面臨許多訓(xùn)練困難，例如，大多數(shù)GAN需要仔細(xì)平衡生成器和判別器之間的能力。不適合的參數(shù)設(shè)置會降低GAN的性能，甚至難以產(chǎn)生任何合理的輸出。根據(jù)我們的觀察，現(xiàn)有生成對抗網(wǎng)絡(luò)的訓(xùn)練函數(shù)具有不同的優(yōu)點(diǎn)和缺點(diǎn)，其預(yù)定義的對抗優(yōu)化策略可能導(dǎo)致生成對抗網(wǎng)絡(luò)訓(xùn)練時的不穩(wěn)定。受自然演化啟發(fā)，我們設(shè)計(jì)了一個用于訓(xùn)練生成對抗網(wǎng)絡(luò)的演化框架。在每次迭代期間，生成器經(jīng)歷不同的突變以產(chǎn)生多種后代。然后，給定當(dāng)前學(xué)習(xí)到的判別器，我們評估由更新的后代產(chǎn)生樣本的質(zhì)量和多樣性。最后，根據(jù)“適者生存”的原則，去除表現(xiàn)不佳的后代，保留剩余的表現(xiàn)良好的發(fā)生器并用于進(jìn)一步對抗訓(xùn)練。

基于的進(jìn)化模型的生成對抗網(wǎng)絡(luò)克服了個體對抗訓(xùn)練方法所存在的固有局限性，極大的穩(wěn)定了生成對抗網(wǎng)絡(luò)的訓(xùn)練過程病提升了生成效果。實(shí)驗(yàn)證明，所提出的E-GAN實(shí)現(xiàn)了令人信服的圖像生成性能，并減少了現(xiàn)有GAN固有的訓(xùn)練問題。

構(gòu)建四元融合一體的人工智能系統(tǒng)

最近自動機(jī)器學(xué)習(xí)得到了大家的廣泛關(guān)注，并且有人說自動機(jī)器學(xué)習(xí)以后，就沒有必要讓人來設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)了，聽起來特別的震撼。當(dāng)然也是恐慌，感覺即使沒有相關(guān)的基礎(chǔ)知識和對于問題的深入理解，只要有大型計(jì)算設(shè)備和相關(guān)的數(shù)據(jù)，我們都可以構(gòu)建高效的人工智能系統(tǒng)。但目前對于一個具體的實(shí)際問題，我們還沒有辦法完全依靠自動機(jī)器學(xué)習(xí)來構(gòu)建人工智能系統(tǒng)，對于問題本身、機(jī)器視覺、統(tǒng)計(jì)學(xué)習(xí)等相關(guān)方面的深入理解，是我們目前搭建高效人工智能系統(tǒng)的根本。

另外，過去我們基本上是獨(dú)立的研究Perceiving、Learning、Reasoning和Behaving這四個方面，包括如何考慮人工智能倫理道德的約束。未來，我們需要在倫理道德框架約束下研究人工智能的四個方面，需要有效的整合這四個方面。這樣的綜合模式（在倫理道德框架約束下的perceiving、learning、reasoning、behaving功能的綜合體）能夠幫助我們實(shí)現(xiàn)在特定環(huán)境下的高效的人機(jī)混合系統(tǒng)或者無人系統(tǒng)。