AI開源的硬核戰(zhàn)場(chǎng)：領(lǐng)軍者百度如何亮劍？

AI 開源的黃金時(shí)代已來(lái)，百度的開源理想要實(shí)現(xiàn)了嗎？

《西部世界》中的 AI 機(jī)器人引發(fā)了人們對(duì)于 AI 技術(shù)的惶恐——因?yàn)樗枥L出了一個(gè)機(jī)器人擁有意識(shí)和意志的世界。埃隆·馬斯克不止一次在公開場(chǎng)合重申了他對(duì)超級(jí) AI 潛在崛起的擔(dān)憂。他說(shuō)：“請(qǐng)記住我的話，AI 比核武器危險(xiǎn)得多?！?/p>

核武器沒(méi)有開源，而 AI 開源的戰(zhàn)場(chǎng)卻硝煙彌漫。

近幾年來(lái)，全球科技巨頭不約而同地在做同一件事：將旗下的 AI 項(xiàng)目開源，與全世界的開發(fā)者共享。對(duì)這些 AI 科技巨頭而言，為什么要開源其最先進(jìn)的技術(shù)呢？

今天我們來(lái)聊聊 AI 與開源的故事。

AI開源是科技公司的價(jià)值名片

AI 的火熱，得益于大批成功的開源深度學(xué)習(xí)框架的不斷涌現(xiàn)。

2015 年，谷歌推出深度學(xué)習(xí)框架 TensorFlow，它是在 DistBelief 的基礎(chǔ)上研發(fā)的第二代人工智能學(xué)習(xí)系統(tǒng)，目前已發(fā)展為最受歡迎的深度學(xué)習(xí)框架之一，被廣泛地應(yīng)用于語(yǔ)音識(shí)別或圖像識(shí)別等多項(xiàng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等領(lǐng)域。

在谷歌開源 TensorFlow 一年以后，百度宣布開源其深度學(xué)習(xí)平臺(tái)飛槳（英文名 PaddlePaddle）。飛槳發(fā)展到現(xiàn)在，已經(jīng)具備了開發(fā)便捷的核心框架、支持超大規(guī)模深度學(xué)習(xí)模型訓(xùn)練、多端多平臺(tái)部署的高性能推理引擎和產(chǎn)業(yè)級(jí)開源模型庫(kù)等領(lǐng)先技術(shù)。飛槳是中國(guó)首個(gè)也是目前國(guó)內(nèi)唯一開源開放、功能完備的產(chǎn)業(yè)級(jí)深度學(xué)習(xí)平臺(tái)，正是因?yàn)樗某霈F(xiàn)，百度成為繼 Facebook、谷歌和 IBM 之后世界上又一個(gè)開源深度學(xué)習(xí)框架的科技公司。

從傳統(tǒng)觀念來(lái)看，開源深度學(xué)習(xí)框架的決定很奇怪。許多科技公司對(duì)于自己的產(chǎn)品、技術(shù)一直是保密的，核心算法更是秘而不宣。為什么要開源深度學(xué)習(xí)框架？

首先看市場(chǎng)需求。AI 具有較高的技術(shù)門檻，對(duì)于多數(shù)中小企業(yè)難以長(zhǎng)期自主研發(fā)。而在產(chǎn)業(yè)互聯(lián)網(wǎng)的浪潮下，誰(shuí)能率先擁抱 AI ，誰(shuí)就能在未來(lái)發(fā)展的不確定性中贏得更多主動(dòng)權(quán)。所以借助成熟的、開源的深度學(xué)習(xí)框架是很多公司的首選。

其次，對(duì)于開源的公司而言，這是一次絕佳的展示機(jī)會(huì)。將深度學(xué)習(xí)框架開源，嵌入到其他公司的產(chǎn)品中去，以便更好地?cái)U(kuò)大巨頭的領(lǐng)域。以 TensorFlow 為例，當(dāng)一個(gè)用戶在使用它的數(shù)據(jù)庫(kù)時(shí)，能更加順暢地連接谷歌的云服務(wù)。也就是說(shuō)，在使用這個(gè)免費(fèi)的工具時(shí)，用戶會(huì)很自然地被引導(dǎo)到需要付費(fèi)的服務(wù)。

這就是為什么處于技術(shù)前沿的公司要公開自己的重要技術(shù)，這既是對(duì)人工智能領(lǐng)域的資源爭(zhēng)奪，也是提升自己在行業(yè)內(nèi)話語(yǔ)權(quán)的絕佳機(jī)會(huì)。

飛槳開源，誠(chéng)意更大

開源是一張王牌，可以讓企業(yè)走近價(jià)值鏈的中心。

IDC 發(fā)布的 2019 年下半年《深度學(xué)習(xí)框架和平臺(tái)市場(chǎng)份額》報(bào)告顯示，在深度學(xué)習(xí)平臺(tái)市場(chǎng)，谷歌、Facebook、百度三強(qiáng)鼎立態(tài)勢(shì)穩(wěn)固，已占據(jù)接近 80% 的市場(chǎng)份額，其中百度的市場(chǎng)份額在過(guò)去半年里增長(zhǎng)迅猛，占比提升 5.98 個(gè)百分點(diǎn)。AWS、微軟等國(guó)外平臺(tái)的份額下滑明顯。

能在激烈的市場(chǎng)競(jìng)爭(zhēng)中保持穩(wěn)步增長(zhǎng)，與百度多年來(lái)深耕 AI 關(guān)系密切。百度的血液里有兩個(gè)詞非常關(guān)鍵：一個(gè)是搜索，2010 年以前百度靠搜索技術(shù)打下江山；另一個(gè)就是 AI，從 2010 年以后，AI 成為百度最鮮明的競(jìng)爭(zhēng)力。

在 AI 領(lǐng)域，百度做了兩件非常牛的事，一是開源了深度學(xué)習(xí)平臺(tái)飛槳，它是中國(guó)首個(gè)、也是當(dāng)前國(guó)內(nèi)唯一開源開放的深度學(xué)習(xí)平臺(tái)；另一件是開源了自動(dòng)駕駛平臺(tái) Apollo。前者讓百度在國(guó)外巨頭壟斷的深度學(xué)習(xí)平臺(tái)的市場(chǎng)份額里硬是撕出了一道口子；后者則奠定了百度在全球自動(dòng)駕駛生態(tài)里的核心地位。

百度其實(shí)一直走在深度學(xué)習(xí)研究和應(yīng)用的前沿，對(duì)于深度學(xué)習(xí)而言，百度在一開始就把握住了機(jī)遇。早在 2012 年百度就將深度學(xué)習(xí) DNN 模型成功應(yīng)用到語(yǔ)音識(shí)別、OCR 等任務(wù)中。隨后在 2013 年，百度成立了深度學(xué)習(xí)研究院（IDL）。自此，百度全面進(jìn)入深度學(xué)習(xí)階段，在深度學(xué)習(xí)的框架開發(fā)、平臺(tái)建設(shè)以及應(yīng)用創(chuàng)新方面都走在行業(yè)前列，在企業(yè)內(nèi)的應(yīng)用具有很高的實(shí)用性、很大的規(guī)?；厣?。

百度為什么要開源深度學(xué)習(xí)平臺(tái)飛槳？

對(duì)于深度學(xué)習(xí)框架的價(jià)值，百度首席技術(shù)官（CTO）王海峰曾經(jīng)如此表示：“在智能時(shí)代，深度學(xué)習(xí)框架起到了承上啟下的作用，下接芯片，上承各種業(yè)務(wù)模型、行業(yè)應(yīng)用?！?/p>

國(guó)內(nèi)絕大多數(shù)企業(yè)，基本是依賴國(guó)外框架，并不掌握最核心的技術(shù)。他們通常是基于 TensorFlow、PyTorch 之類的國(guó)外框架和模型進(jìn)行訓(xùn)練，然后再進(jìn)行部署，加上邊緣的工具等，就可以直接使用（例如 XDL，其后臺(tái)實(shí)際上就是 TensorFlow）。因此，雖然國(guó)內(nèi)有一些企業(yè)聲稱自己有深度學(xué)習(xí)框架，但很少有企業(yè)敢于將深度學(xué)習(xí)框架開源。

百度為什么敢？

一位親歷百度開源的工程師曾感慨道：“到目前為止，我仍然堅(jiān)定的認(rèn)為，百度是中國(guó)最適合做技術(shù)的公司?！卑俣蕊w槳的開發(fā)，是一行一行的代碼敲出來(lái)的，具有完全自主知識(shí)產(chǎn)權(quán)。獨(dú)立研發(fā)一個(gè)深度學(xué)習(xí)平臺(tái)，需要深厚的深度學(xué)習(xí)專業(yè)功底、極強(qiáng)的軟件開發(fā)經(jīng)驗(yàn)和大量的時(shí)間，和獨(dú)立寫出一個(gè)操作系統(tǒng)的難度相差無(wú)幾，而百度將飛槳百萬(wàn)行代碼整體開源，足可見其對(duì)技術(shù)的自信和對(duì)開源的誠(chéng)意。截至目前，全球范圍內(nèi)做得比較成功的深度學(xué)習(xí)框架，也只有谷歌、Facebook 和百度。

當(dāng)然，TensorFlow 和飛槳也有很大的不同。

飛槳的核心框架采用基于編程邏輯的組網(wǎng)范式，對(duì)于普通開發(fā)者而言更容易上手，符合他們的開發(fā)習(xí)慣。同時(shí)，飛槳支持聲明式和命令式編程，兼具開發(fā)的靈活性和高性能，網(wǎng)絡(luò)結(jié)構(gòu)自動(dòng)設(shè)計(jì)，模型效果超越人類專家。

飛槳突破了超大規(guī)模深度學(xué)習(xí)模型訓(xùn)練技術(shù)，實(shí)現(xiàn)了世界上首個(gè)支持千億特征、萬(wàn)億參數(shù)、數(shù)百節(jié)點(diǎn)的開源大規(guī)模訓(xùn)練平臺(tái)。據(jù)了解，TensorFlow 只支持千億級(jí)規(guī)模的模型參數(shù)訓(xùn)練，是飛槳的十分之一。

飛槳不僅兼容其他開源框架訓(xùn)練的模型，還可以輕松地部署到不同架構(gòu)的平臺(tái)設(shè)備上。同時(shí)，飛槳的推理速度也是全面領(lǐng)先的。比如，在質(zhì)檢線上，一個(gè)零件停留的時(shí)間可能只有數(shù)十毫秒，因此，速度快就有更大的優(yōu)勢(shì)。飛槳適配的國(guó)產(chǎn)硬件（華為、寒武紀(jì)等）更多，同樣都是跑在華為麒麟芯片上，飛槳的速度會(huì)比 TensorFlow 更快。在與北京大恒圖像視覺有限公司的合作中，使用百度飛槳分割庫(kù) PaddleSeg，可在收集數(shù)據(jù)后快速地完成模型訓(xùn)練和部署，結(jié)合傳統(tǒng)算法對(duì)隔膜生產(chǎn)中的缺陷進(jìn)行實(shí)時(shí)的檢測(cè)和分類。

PaddleSeg 集成了豐富的數(shù)據(jù)增廣方法和最新的網(wǎng)絡(luò)模型，使用方便、功能強(qiáng)大。訓(xùn)練出來(lái)的模型有良好的泛化能力，能檢測(cè)出不同工藝和不同亮度的圖像的缺陷 20 余種，分類精度達(dá)到 0.98，預(yù)測(cè)速度 0.12ms/img，分割模型 iou0.82。安裝調(diào)試時(shí)間也縮短到 2 周，質(zhì)檢設(shè)備的通用及易用性都得到了較大的提高。

百度飛槳已累計(jì)服務(wù)了 150 多萬(wàn)開發(fā)者，這一數(shù)字約占中國(guó)軟件平均從業(yè)人數(shù)的 1/4。此外，其定制化訓(xùn)練平臺(tái)上企業(yè)用戶超過(guò) 6.5 萬(wàn)，發(fā)布了 16.9 萬(wàn)個(gè)模型，2019 年第二季度百度飛槳深度學(xué)習(xí)平臺(tái)開發(fā)者下載量環(huán)比增加 45％。

雖然當(dāng)下飛槳的生態(tài)規(guī)模和國(guó)外框架想比還有一些差距。但對(duì)于國(guó)內(nèi)的開發(fā)者而言，深度學(xué)習(xí)平臺(tái)飛槳的開源，提供了一個(gè)跟國(guó)際潮流技術(shù)比肩的選擇。

Apollo 在自動(dòng)駕駛生態(tài)的特別地位

百度除了開源深度學(xué)習(xí)平臺(tái)飛槳之外，在應(yīng)用層面還開源了自動(dòng)駕駛平臺(tái) Apollo。

百度自動(dòng)駕駛研發(fā)項(xiàng)目啟動(dòng)于 2013 年，早年技術(shù)核心是“百度汽車大腦”，包括高精度地圖、定位、感知、智能決策與控制四大模塊；2014 年，正式啟動(dòng)“百度無(wú)人駕駛汽車”研發(fā)計(jì)劃，一年后，成立自動(dòng)駕駛事業(yè)部成立，大規(guī)模投入研發(fā)。

2017 年 7 月，百度 Apollo 發(fā)布 1.0 版本并正式對(duì)外開源，歷時(shí)兩年零五個(gè)月后，Apollo 5.5 版本發(fā)布，重點(diǎn)便是開放了“點(diǎn)到點(diǎn)城市自動(dòng)駕駛”能力，以及面向量產(chǎn)落地自動(dòng)駕駛場(chǎng)景的解決方案。

與以往版本比，Apollo 5.5 增加了三項(xiàng)新能力，分別是：

語(yǔ)義地圖深度學(xué)習(xí)方法。該方法是將高精地圖加上交通規(guī)則、車輛信息等語(yǔ)義，然后生成圖片，用深度學(xué)習(xí)的 CNN 網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，從而應(yīng)用于包括感知、預(yù)測(cè)在內(nèi)的多個(gè)模塊中。

Apollo 還對(duì)規(guī)劃算法進(jìn)行了更新。通過(guò)靈活的換道策略、智能的路權(quán)處理以及優(yōu)化的速度決策幾個(gè)方面的提升，提高問(wèn)題的可求解性。

Apollo 5.5 引入最新的、基于非線性速度規(guī)劃的數(shù)學(xué)表述，在優(yōu)化器和優(yōu)化器求解上做了大量的改進(jìn)，保證在有限時(shí)間內(nèi)也可以求出最優(yōu)解。

在 CVPR（全球計(jì)算機(jī)視覺及模式識(shí)別領(lǐng)域頂級(jí)學(xué)術(shù)會(huì)議）2019 會(huì)議期間，百度 Apollo 公開了國(guó)內(nèi)唯一的自動(dòng)駕駛純視覺城市道路閉環(huán)解決方案——百度 Apollo Lite。據(jù)悉，這是一套自動(dòng)駕駛純視覺城市道路閉環(huán)解決方案，能夠支持對(duì) 10 路攝像頭、200 幀 / 秒數(shù)據(jù)量的并行處理，單視覺鏈路最高丟幀率能夠控制在 5‰ 以下，實(shí)現(xiàn)全方位 360° 實(shí)時(shí)環(huán)境感知，前向障礙物的穩(wěn)定檢測(cè)視距達(dá)到 240 米。

前不久，知名投資咨詢公司廣證恒生發(fā)布了《自動(dòng)駕駛專題研究之企業(yè)評(píng)估指標(biāo)體系——立體分析企業(yè)核心競(jìng)爭(zhēng)力》，對(duì)國(guó)內(nèi)外數(shù)家自動(dòng)駕駛公司進(jìn)行排名分析，百度以 3.6 分的綜合評(píng)分位居世界第一，谷歌旗下的自動(dòng)駕駛企業(yè) Waymo 以 0.2 分之差緊隨其后。

Apollo 平臺(tái)是百度自動(dòng)駕駛的技術(shù)基石。自發(fā)布至今，Apollo 平臺(tái)共進(jìn)行了 8 次迭代，分別是 1.0、1.5、2.0、2.5、3.0、3.5、5.0、5.5。以最新的 Apollo 5.5 為例，不僅在開放數(shù)據(jù)的基礎(chǔ)上新增了幫助自動(dòng)駕駛車輛快速學(xué)習(xí)交通規(guī)則，理解路面環(huán)境的語(yǔ)義地圖深度學(xué)習(xí)方法，還為開發(fā)者開放了一個(gè)“技能庫(kù)”，提供傳感器標(biāo)定和深度學(xué)習(xí)模型訓(xùn)練的服務(wù)，進(jìn)一步提升開發(fā)效率。

截至目前，百度 L4 級(jí)別自動(dòng)駕駛城市道路測(cè)試?yán)锍桃呀?jīng)突破 300 萬(wàn)公里，已經(jīng)在 23 個(gè)城市進(jìn)行測(cè)試，智能汽車專利 1237 項(xiàng)，位列全國(guó)第一。

在保定，百度智能交通信控系統(tǒng)幫助保定交通延誤時(shí)間減少 20%~30%。而在長(zhǎng)沙“兩個(gè) 100 公里”項(xiàng)目建設(shè)中，百度 Apollo 參與 135 公里車路協(xié)同道路改造。據(jù)悉，該項(xiàng)目建成后可直接支持進(jìn)一步開展 Robotaxi 業(yè)務(wù)，從而加速推進(jìn)自動(dòng)駕駛規(guī)?；?、商業(yè)化的落地進(jìn)程。

此外，百度與重慶達(dá)成戰(zhàn)略合作，圍繞自動(dòng)駕駛、智能城市、智能政務(wù)、區(qū)塊鏈等多層面達(dá)成合作。2019 年 9 月 12 日，百度 Apollo 來(lái)到“渤海之濱”獅城，與滄州市人民政府正式簽署戰(zhàn)略合作框架協(xié)議，雙方將自動(dòng)駕駛、智能交通、電子政務(wù)等多個(gè)方面展開全面合作，共同打造“智能滄州”。

除了 Apollo 自動(dòng)駕駛平臺(tái)，百度還在車聯(lián)網(wǎng)和車路協(xié)同領(lǐng)域不斷推出新產(chǎn)品。據(jù)了解，2019 年，百度 Apollo 在全球 97 個(gè)國(guó)家擁有 3.6 萬(wàn)名開發(fā)者，是 2018 年的 2.4 倍。Apollo 目前共擁有 177 位生態(tài)合作伙伴，擁有 56 萬(wàn)行開源代碼。Apollo 自動(dòng)駕駛平臺(tái)已成為全球最強(qiáng)大、最開放、最活躍的自動(dòng)駕駛平臺(tái)。

百度在 AI 和開源上的投入，有目共睹。

將 AI 開源進(jìn)行到底

據(jù)了解，谷歌開源 TensorFlow 的想法最初是由是其首席架構(gòu)師 Jeff Dean 提出的，他認(rèn)為常規(guī)的科學(xué)發(fā)展緩慢，阻礙了公司的創(chuàng)新。開源 TensorFlow 能夠加快研究人員與科學(xué)界的實(shí)時(shí)協(xié)作。谷歌之外的人才也能改善源代碼，通過(guò)更廣泛地分享機(jī)器學(xué)習(xí)技術(shù)，還能為該領(lǐng)域培養(yǎng)更加專業(yè)的人才。

“我們決定開源后，代碼運(yùn)行更快了，可以做更多的事情，也更加便捷?！盩ensorFlow 團(tuán)隊(duì)負(fù)責(zé)人 Rajat Monga 說(shuō)。

百度 CTO 王海峰也曾在多個(gè)場(chǎng)合提出開源開放對(duì)人工智能時(shí)代的重要價(jià)值。他認(rèn)為，一方面，人工智能技術(shù)的發(fā)展和突破需要所有人齊心協(xié)力、共同推動(dòng)，因此開源、開放就尤為重要；另一方面，人工智能技術(shù)會(huì)賦能各行各業(yè)，開源、開放讓各行各業(yè)可以便捷地使用人工智能，讓社會(huì)各界都受益。

在百度，很多人對(duì)開源文化頗有感觸。一位百度開源負(fù)責(zé)人曾在一篇文章中寫道，他所在的工程效率部門， 2017 年至今都在整體組織和推進(jìn)百度開源的工作，包括引入開源、內(nèi)部開源和對(duì)外開源。而他也看到，在開源世界里面，中國(guó)公司和中國(guó)人不再僅僅是以索取者的身份出現(xiàn)，領(lǐng)先企業(yè)華為、阿里巴巴、百度、騰訊等在開源界的聲音也越來(lái)越大，投入和實(shí)際貢獻(xiàn)也越來(lái)越多。對(duì)開源的玩法越來(lái)越熟悉，玩得也越來(lái)越溜，在遵守社區(qū)規(guī)則、理解社區(qū)精神的前提下，慢慢走上了前臺(tái)和中心?！斑@是非常令人欣喜的變化?！?/p>

除了以上提到的飛槳和 Apollo 的開源，百度還有很多非常有代表性的開源項(xiàng)目，比如 2019 年春晚紅包中扛住超大用戶壓力、數(shù)次流量波峰的轉(zhuǎn)發(fā)引擎——百度的統(tǒng)一七層流量轉(zhuǎn)發(fā)平臺(tái) BFE、中國(guó)首個(gè)開源的邊緣計(jì)算框架 BAETYL 等等。

此外，除了將重磅技術(shù)開源外，各大巨頭也通過(guò)收購(gòu)的方式加緊自己的開源生態(tài)建設(shè)。2018 年 10 月，微軟以 75 億美元的價(jià)格收購(gòu) GitHub，這個(gè)舉措被認(rèn)為是微軟擁抱開源與布局企業(yè)市場(chǎng)的關(guān)鍵；2019 年 7 月，IBM 宣布以 340 億美元的價(jià)格收購(gòu)紅帽（Red Hat），紅帽將成為 IBM 混合云部門的一部分。國(guó)內(nèi)對(duì)開源生態(tài)也表現(xiàn)出前所未有的重視。騰訊收購(gòu) Codig.net，推出騰訊云開發(fā)者平臺(tái)；阿里巴巴收購(gòu) Teambition，支持開發(fā)者團(tuán)隊(duì)溝通協(xié)作。

2019 年 12 月 6 日，開源中國(guó)獲得百度最新戰(zhàn)略投資。百度除了把飛槳入駐到 Gitee 之外，其他百度系優(yōu)秀的開源產(chǎn)品也將陸續(xù)入駐。

開源生態(tài)之爭(zhēng)，寸土寸金。云 + AI 的行業(yè)背景之下，對(duì)于開發(fā)者生態(tài)的重視，讓開源事業(yè)迎來(lái)了春天。開源社區(qū)和代碼托管平臺(tái)是科技公司與開發(fā)者建立聯(lián)系的關(guān)鍵點(diǎn)，自然成為了必爭(zhēng)之地?！耙涣髌髽I(yè)定標(biāo)準(zhǔn)，二流企業(yè)做品牌，三流企業(yè)做產(chǎn)品”，想要在未來(lái)競(jìng)爭(zhēng)的商業(yè)市場(chǎng)里占據(jù)話語(yǔ)權(quán)，就需要加快產(chǎn)品的研發(fā)和迭代速度，讓產(chǎn)品被更多人喜歡和使用，并積極地參與開源組織和標(biāo)準(zhǔn)的制定。

當(dāng)下，越來(lái)越多的企業(yè)開始意識(shí)到開源的重要性，中國(guó)的互聯(lián)網(wǎng)企業(yè)也需要像百度一樣，給開發(fā)者足夠信任的時(shí)間和空間去做開源項(xiàng)目、維護(hù)開源項(xiàng)目，畢竟在開發(fā)者數(shù)量占絕對(duì)優(yōu)勢(shì)的背景下，我們需要讓世界看到中國(guó)的開源力量。

百度篤信于此，并時(shí)刻做好“領(lǐng)路人”的準(zhǔn)備。