新興領(lǐng)域深度學習引發(fā)的一些沖突

　　我感到非常困惑，我?guī)缀趺刻於荚诟淖冏约旱挠^點，我似乎對這個難題無法形成一種堅實固定的看法。我不是在討論目前的世界局勢，或現(xiàn)任美國總統(tǒng)，我是在討論對人類而言更加重要的一件事。更具體地來說，我在討論的是研究人員與工程師們的存在和工作，我說的是深度學習。
　　你也許會認為我的聲明有些夸張，但深度學習的出現(xiàn)確實引出了我們必須解決的幾個關(guān)鍵問題。在本文中，我希望揭露這一新興領(lǐng)域引發(fā)的沖突，這與圖像處理領(lǐng)域的研究者們有關(guān)。
　　首先讓我們簡要回顧一下深度學習和神經(jīng)網(wǎng)絡的概念。神經(jīng)網(wǎng)絡已經(jīng)存在了數(shù)十年，它提出了一種通用的學習機制，原則上可用于處理任何可學習的數(shù)據(jù)集。在其前饋架構(gòu)中，感知層（也就是神經(jīng)元）首先對輸入內(nèi)容進行加權(quán)平均，隨后進行非線性處理，如感知器（sigmoid）或 rectified-linear 曲線。人們可以訓練這種簡單的系統(tǒng)通過多種監(jiān)督回歸和分類方法從給定數(shù)據(jù)中獲得需要的輸出。
　　這看起來很棒，但不幸的是這個概念在 20 世紀 80 代 90 年代并沒有流行起來——在那時神經(jīng)網(wǎng)絡無法給出足夠具有競爭力的表現(xiàn)。此外，由于有著堅實理論基礎以及凸優(yōu)化方式的支持向量機的出現(xiàn)，神經(jīng)網(wǎng)絡看起來完全沒有翻身機會了。最終，神經(jīng)網(wǎng)絡進入了漫長的低潮期，只有少部分研究者還在堅持這方面的研究：Yann LeCun（紐約大學/ Facebook）、Geoffrey Hinton（多倫多大學/谷歌）、Yoshua Bengio（蒙特利爾大學）和Jürgen Schmidhuber（瑞士人工智能實驗室/盧加諾大學）都在這一行列中。他們的努力產(chǎn)生了一系列重要的成果，如卷積和長短期記憶網(wǎng)絡，但一開始這些研究的影響有限。隨后，神經(jīng)網(wǎng)絡突然也迎來了爆發(fā)期。
　　在 21 世紀初，一系列論文提到了這種架構(gòu)的成功應用，包括幾乎所有任務的最佳運行結(jié)果。而這些應用不約而同地使用了同一種方法：多層神經(jīng)網(wǎng)絡，這就是「深度學習」，通過大量數(shù)據(jù)用于訓練， 大量計算機集群和顯卡計算資源的使用，以及采用有效初始化和逐步隨機梯度學習的優(yōu)化算法。不幸的是，所有這些偉大的成就都是建立在無法理解的基礎范式之上的。此外，從理論的角度看，深度學習在學習過程中所采用的最優(yōu)化是非常不凸和難解的。
　　深度學習應用的大發(fā)展始于手寫字符識別（見下圖），隨后緩慢地進入了更具挑戰(zhàn)性的視覺、語音識別和自然語言處理任務中，并從此開始在任何任務里以有監(jiān)督學習的形式出現(xiàn)。谷歌、Facebook 和微軟這樣的大公司很快意識到這一技術(shù)的潛力，它們投入了大量人力和資源來掌握這些工具，并將其投入產(chǎn)品中。而在學術(shù)方面，信號處理、圖像處理和計算機視覺的各類大會已經(jīng)被深度學習占領(lǐng)，它日益增長的主導地位逐漸讓人工智能變得興盛起來。
　　
　　深度學習仍在隨著時間發(fā)展。為了簡潔起見，我們以經(jīng)典的圖片去噪點任務為例（如下圖）。這些年來，研究者們發(fā)表了數(shù)千份關(guān)于此任務的論文。研究人員利用偏微分方程的工具，如各向異性擴散、全變差、能量最小化、圖像幾何解釋方法作為流型、貝特拉米流（Beltrami flow）等等，開發(fā)出了美麗而深刻的數(shù)學思想。諧波分析和近似理論同樣應用于噪點任務，引出了小波理論和稀疏表示的重大突破。其他重要的思想包括低階近似、非局部均值、貝葉斯估計和魯棒統(tǒng)計。因此可以認為，我們在過去三十年中獲得了豐富的圖像處理知識，而這影響了許多圖像處理任務，并穩(wěn)固了其后的數(shù)學基礎。

普通下載普通下載

相關(guān)電子資料下載

• 深度學習在工業(yè)缺陷檢測中的應用 63
• 探討目前主流3D激光SLAM算法方案 94
• 華為成為中國首個PyTorch基金會Premier會員 453
• 《人工智能在指揮和控制系統(tǒng)中的決策支持》 133
• 中國手機廠商發(fā)力這一領(lǐng)域 外媒：大戲剛剛開始 262
• 百度智能云推出國內(nèi)首個大模型全鏈路生態(tài)支持體系 251
• 人工智能領(lǐng)域存在第一性原理嗎？ 53
• 基于機器視覺檢測技術(shù)現(xiàn)狀 41
• 自動駕駛規(guī)控決策方面的建議與解決方案 40
• 里程碑 主線科技無人集卡在舟山港開啟全天候真無人常態(tài)化運營 166