你是什么時候對深度學習失去信心的？

最近幾天在知乎上有個問題火了：

你是什么時候對深度學習失去信心的？

在此推薦一下知乎大V@霍華德的回答，以下為原回答。

對于深度學習的現狀，工業(yè)界還是很清楚的。如果沒有變革性的突破，弱人工智能時代的范式應該基本就要確定了。

大模型 + 拖拖樂

基本范式就是 大模型 + 拖拖樂，下游少量數據微調，在前端表現為拖拖樂形成DAG，自動生產模型。拖拖樂平臺，各大云廠商都有提供，如阿里的PAI，騰訊的Ti平臺、華為的ModelArts，亞馬遜的SageMaker等等

對于大模型，各種網絡魔改價值很有限，因為數據上去后，假設越少越好，偏置歸納越少越好，這就使得模型越樸素越好。

大模型也會成為各大公司的核心資產，所有數據向大模型匯聚，試圖記下互聯(lián)網上的一切數據。然后，一鍵蒸餾小模型，一鍵剪枝，一鍵壓縮，一鍵部署，一鍵一條龍。

深度學習規(guī)則化

越來越覺得，深度學習變成一種數據驅動的規(guī)則，一個模型就是一個規(guī)則。傳統(tǒng)規(guī)則引擎里各種if-else，全靠程序員啟發(fā)式完成。

深度學習規(guī)則引擎，每個規(guī)則就是個小模型。全靠算法工程師，使用數據驅動的方式訓練完成。

之前大家覺得，一個強力模型包打天下?，F在看來，更務實的方式的，無數小模型，組合沖擊，往往效果更佳。

這就使得，原本深度學習被詬病可解釋性問題，其實不再是問題。因為從業(yè)務頂層已經被拆分，拆分成一個個可以被人理解的因子，無法被合理解釋的因子，項目啟動的評審都無法通過。

就我熟悉的視頻理解來說吧，原本以為一個強大模型，學習所有數據，出一個強力分數，然后用這個分數搞定一切。但這樣的模型背后的黑箱，無法被接受。

現在，視頻被從非常多個維度切分，視頻清晰度、視頻美觀度、視頻有沒有l(wèi)og，視頻有沒有涉黃，視頻有沒有涉政，是不是ppt視頻，有沒有被剪裁過，有沒有黑邊。所有這些子任務都不需要多強的模型，更重要的是數據。

顯著的 > 隱含的

另外一個感悟是，顯著的優(yōu)于隱含的，字幕就是優(yōu)于打標簽，OCR識別優(yōu)于各種分類、檢索、生成。因為字幕就是最顯著的，其他信息都是隱含的，通過模型推測出來的。

這就產生了一個固有矛盾。在學術界，隱含的才是有難度的，才是有研究價值的，例如視頻動作識別，一定要從連續(xù)的動作中理解出到底在干啥。但在工業(yè)界，這樣的任務就非常難用。工業(yè)界喜歡顯著的，因為問題最少。

這樣的分野，會使得工業(yè)界和學術界關心的問題，慢慢發(fā)生分歧，不知道是好是壞。

刀耕火種的時代過去了

過去，算法工程師們耕作著一畝三分地，或經營著一個個手工作坊，面向業(yè)務營業(yè)。但顯然刀耕火種和手工作坊時代要過去了。大型收割機已經進入農田，制造業(yè)工廠已經拔地而起，里面是一條條模型流水線。這就是生產力的發(fā)展，勢不可擋。

但就像失去土地的農民，失去作坊的工匠，下步又該何去何從？

技能閉環(huán)，還是深耕？

我能想到的大概兩個方向。

一個是往大模型深耕，成為大模型專家，在公司內守住一個領域的大模型?；蛘邘е约捍竽Ｐ偷募寄埽狡渌胤饺ビ么竽Ｐ徒稻S打擊。但其實能用起的大模型的地方，可能不會很多，訓練的成本就很高。

一個是技能閉環(huán)，或者說就是全?；?，補充后臺、前端、大數據、產品的知識，爭取獲得獨立打造產品的能力。這樣能降低被螺絲釘化的風險。

審核編輯 ：李倩