技術揭秘AI開發(fā)降本提效之道：云智一體AI開發(fā)全棧模式

云計算在與人工智能技術的融合發(fā)展中，也在打破企業(yè)開發(fā)的邊界。3月27日，百度智能云“2021云智技術論壇”首場活動在京舉辦，百度智能云重磅發(fā)布“云智一體的AI開發(fā)全棧模式”，基于獨有的 AI 原生云架構，通過軟硬一體高性能AI開發(fā)基礎設施為企業(yè)提供AI開發(fā)全棧解決方案，并與到場的各個領域企業(yè)嘉賓分享了AI中臺的特性和實踐等等。作為國內AI公有云服務市場第一的百度智能云正以“云智一體”獨家優(yōu)勢持續(xù)領跑市場。

百度智能云是百度AI技術落地的承載者和輸出者，已展現(xiàn)出“云智一體”這一獨特競爭優(yōu)勢?！爸恰敝赴俣却竽X，作為智能云的核心基礎，經(jīng)過十余年積累，百度大腦已經(jīng)發(fā)展成核心技術領先的軟硬一體AI大生產(chǎn)平臺，為各行各業(yè)賦能的AI新型基礎設施。為了滿足產(chǎn)業(yè)智能化應用的規(guī)模化生產(chǎn)，百度智能云在行業(yè)率先提出了AI原生的云計算架構，打造業(yè)界最適合跑AI的云，結合上層靈活易用、滿足各類開發(fā)者應用需求的AI開發(fā)平臺，助力企業(yè)提升AI開發(fā)效率，提速智能化進程。

軟硬一體高性價比的AI開發(fā)基礎設施 打造業(yè)界最適合跑AI的云

當下，智能家居、智能金融、自動駕駛、智慧醫(yī)療、智能零售、智能制造等領域的行業(yè)應用正全面進入AI原生階段。為了更好地適應已經(jīng)來到的AI原生新階段，百度智能云構建全棧的AI原生云架構，面向AI應用場景進行深度的軟硬一體協(xié)同優(yōu)化，構建業(yè)界最適合跑AI的云，在AI基礎設施層面能夠為企業(yè)提供高性能的AI算力，更簡單、易用、高效的開發(fā)過程，更流暢的端到端應用開發(fā)全流程體驗。

百度智能云主要通過AI計算、AI存儲、AI容器三層構建AI開發(fā)基礎設施。具體來看：

AI計算層：基于百度“太行”彈性裸金屬產(chǎn)品為客戶提供高性能，多規(guī)格高性價比的算力服務。這里分為如下幾個維度分別介紹：

• ?芯片層面，擁有豐富的AI芯片類型，包括百度自研的昆侖芯片以及行業(yè)多規(guī)格的商業(yè)GPU和FPGA芯片，以滿足不同場景的AI算力需求。
• 單機服務器層面，基于X-MAN架構的AI超級服務器，X-MAN是第一款能夠搭配4路CPU的超級AI計算機，突破CPU+GPU配比限制，更好的釋放GPU能力，讓CPU的能力不再成為GPU算力利用的約束限制，提升AI計算場景的整體計算能力。同時在單機內部多卡之間通訊基于NVLink高速互聯(lián)。
• 百度的AI超級服務器統(tǒng)一通過百度自主研發(fā)的硬件虛擬化技術百度太行彈性裸金屬，以百度太行高性能計算實例的形態(tài)，能夠和其他云服務無縫接入，包括云存儲、云數(shù)據(jù)庫、云網(wǎng)絡等，同時也保持裸機層面的零損耗高性能。

AI存儲層：其核心是基于百度的對象存儲服務以及關聯(lián)的面向AI場景的加速和處理能力，解決客戶AI開發(fā)場景的數(shù)據(jù)存儲和分析問題。為此，百度智能云特別提供了面向AI計算的存儲服務架構，并分為如下幾個層面：

• 第一層，是數(shù)據(jù)上云，幫助客戶的數(shù)據(jù)怎么能快速高效的上云，百度既提供面向離線傳輸?shù)拇疟P傳輸方式，也提供面向在線的cloud flow產(chǎn)品，支持客戶創(chuàng)建各種模型的在線傳輸任務。離線傳輸支持單臺百TB的數(shù)據(jù)遷移能力，在線數(shù)據(jù)流轉cloud flow兼容業(yè)界7種對象存儲接口。
• ?第二層，是數(shù)據(jù)存儲，百度以對象存儲為核心提供高性價比的存儲服務。百度對象存儲提供業(yè)界最先的4級數(shù)據(jù)存儲，并提供智能的生命周期管理和業(yè)界領先的讀寫性能，滿足客戶在大數(shù)據(jù)場景下的性價比需求。
• 第三層，就是數(shù)據(jù)的處理和AI加速層，在加速層面，百度提供一層Cache服務，基于更高速的存儲介質，提供元數(shù)據(jù)加速，緩存的管理等能力，以提供更高性能的存儲能力，同時也在對象存儲上默認集成了一些AI智能處理能力。百度的高速緩存能力，在一些場景下訓練速度能提升4倍以上，同時也融合集成了幾十種智能處理能力。

此外，針對視頻、圖像等文件類型，百度智能云在BOS測試更好的封裝集成了百度相關的AI能力，包括幾十項圖像的審核能力，以及圖像增強和特效能力，用戶可以直接通過BOS的事件觸發(fā)框架，在數(shù)據(jù)訪問或者數(shù)據(jù)上傳時，直接通過統(tǒng)一的接口拓展來調用這些智能處理能力，讓數(shù)據(jù)分析和存儲更近，降低編碼復雜度，提升管理體驗。

AI容器層：百度智能云的容器引擎服務CCE，提供基礎的Docker容器生命周期管理、大規(guī)模容器集群運維管理、業(yè)務應用一鍵式發(fā)布運行等功能，還面向AI場景進行了一系列的針對優(yōu)化，包括GPU異構資源的管理，AI作業(yè)的調度管理等，以更高效的使用算力資源，提升資源自用使用率。具體介紹一下AI容器服務的一些關鍵特性：

• 支持GPU的共享能力，支持用戶進行1/2、1/4等顆粒度的GPU算力資源管理。
• 在AI作業(yè)的調度層面，支持Gang、Spread、Binpack等調度算法，以及針對NVLink等GPU網(wǎng)絡架構的感知調度能力。
• 在加速引擎層面，提供算子和通信加速引擎，算子加速在具體場景下可以提升數(shù)倍的推理效率，通信庫可以支持千卡規(guī)模的通信加速能力。

AI原生的云基礎設施上層打造AI開發(fā)雙平臺 云智一體的AI開發(fā)成為最優(yōu)解

伴隨著產(chǎn)業(yè)智能化的大潮，AI已成為諸多行業(yè)轉型升級的通用技術，企業(yè)級AI開發(fā)平臺的作用日益凸顯。依托AI原生的云基礎設施，基于百度自研的產(chǎn)業(yè)級開源深度學習平臺飛槳，滿足企業(yè)針對場景的定制化應用需求，百度推出飛槳企業(yè)版，包括面向AI應用開發(fā)者打造的零門檻AI開發(fā)平臺EasyDL和面向AI算法開發(fā)者建設的全功能AI開發(fā)平臺BML。

EasyDL和BML都可以滿足開發(fā)者數(shù)據(jù)獲取、特征提取、參數(shù)調優(yōu)、模型訓練、模型評估、模型部署、推理服務等全流程需求，更具備豐富的任務場景、便捷高效的智能數(shù)據(jù)服務EasyData、內置百度超大規(guī)模預訓練模型所帶來的高精度效果、支持廣泛適配各類硬件的模型部署四大核心優(yōu)勢。

零門檻AI開發(fā)平臺EasyDL

EasyDL面向AI應用開發(fā)者，支持圖像、文本、視頻、語音、OCR、結構化數(shù)據(jù)、零售行業(yè)版7大技術方向，16種任務類型，支持公有云、本地服務部署、設備端、軟硬一體四種部署方案，已服務超過80萬用戶。從EasyData智能數(shù)據(jù)服務、模型訓練到服務部署一站式全流程服務讓用戶無需了解算法細節(jié)，5分鐘即可上手，最快10分鐘完成模型訓練。

數(shù)據(jù)準備：在數(shù)據(jù)處理上，可直接使用智能數(shù)據(jù)服務平臺EasyData的強大能力，實現(xiàn)數(shù)據(jù)采集、評估、清洗、標注的一站式服務。極大降低用戶獲取與處理數(shù)據(jù)的成本。

模型訓練：EasyDL內置了百度自研的超大規(guī)模視覺預訓練模型和自然語言處理的預訓練模型文心（ERNIE）2.0，對比開源數(shù)據(jù)集訓練的預訓練模型可以有效全面提升模型效果。

EasyDL還全新發(fā)布了多角度模型評估能力進一步助力模型調優(yōu)，包括三種可視化歸因分析工具：

• ?混淆矩陣：可以通過數(shù)據(jù)統(tǒng)計，幫助開發(fā)者精準判斷模型在哪些類別上容易出錯，
• 熱力圖：可以進一步地解釋模型的決策依據(jù)，在整圖范圍內給出影響模型識別結果的像素重要程度
• 噪聲樣本挖掘：根據(jù)混淆矩陣和熱力圖，直接挖掘影響模型效果的噪聲樣本，幫助開發(fā)者有針對性的進行模型迭代。

模型部署：為了滿足不同場景需求，百度提供了公有云 API、本地服務器部署、設備端 SDK、軟硬一體產(chǎn)品四大部署方式。用戶只需經(jīng)過簡單的設置，就可以將訓練好的模型轉換為滿足業(yè)務場景需求的服務。在設備端 SDK上，適配了NV Jetson 系列、Intel 神經(jīng)加速棒、華為 NPU、華為 Atlas、高通 DSP、RK 等超過15種主流芯片與四大操作系統(tǒng)，實現(xiàn)了業(yè)界適配最廣。

另外，EasyDL最近推出了端云協(xié)同部署方案。

端云協(xié)同部署基于百度開源的智能邊緣BIE框架搭建，開發(fā)者可以輕松在云端管理各類端與邊緣。

在端和邊緣設備上，只需一次集成邊緣套件，在本地，就可以輕松獲得AI模型本地推理、視頻流接入等功能。而在云端，可以進行服務的下發(fā)和更新，還有報表的統(tǒng)計和節(jié)點的管理等功能。

端云協(xié)同部署非常適合一些具有聯(lián)網(wǎng)（或部分聯(lián)網(wǎng)）條件下的業(yè)務場景，開發(fā)者訓練好模型，只要1分鐘，就可以將新的模型下發(fā)更新到邊緣端進行驗證或者批量部署?？梢詷O大提升AI模型開發(fā)的部署效率，使得開發(fā)者可以專注于業(yè)務本身。

EasyDL端云協(xié)同的部署方案可以運行在各式各樣的智能終端，如盒子、一體機、服務器之中，在這些邊緣設備上，可以再接入各式傳感器，（如攝像機、MIC）。結合EasyDL的公有云部署和本地服務器部署，可以方便地構建出云邊端融合的一整套AI解決方案，滿足各種業(yè)務場景下的AI應用需求。

全功能AI開發(fā)平臺BML

BML則面向AI算法開發(fā)者構建，在模型構建和模型管理上，BML提供了高性價比的算力、更加易用多樣的建模方式。在模型管理上也提供了模型存儲、模型轉化、模型評估和模型優(yōu)化的功能。可以說BML面向專業(yè)算法開發(fā)者提供了更靈活和更強大的AI開發(fā)平臺。

BML具有以下四個核心優(yōu)勢，建模方式全面、預置高性能AI套件、交付靈活、提供多種國產(chǎn)化的解決方案，為企業(yè)提供自主可控廣泛適配的AI開發(fā)平臺。

建模方式：BML提供預置模型調參、Notebook、自定義作業(yè)、可視化建模等多種建模方式。其中，預置模型調參在實現(xiàn)了低代碼建模的基礎上，具備一定的腳本編輯靈活性，同時內置了自動超參搜索功能助力提升模型效果。BML提供的自動超參搜索功能是創(chuàng)新基于隨機微分方程的無梯度優(yōu)化的調參算法，收斂速度快，不依賴平滑性假設，并且可以支持大規(guī)模的并行搜索調參。在開啟自動超參搜索之后，BML線上多場景的模型精度平均可提升10%以上。

高性能AI套件：

• 高性能的機器學習套件。用于數(shù)據(jù)分析機器學習場景下的加速，套件可以產(chǎn)生十倍于開源套件的效果，它的接口十分兼容，使用高性能的機器學習套件后，在幾個常見的開源任務上性能都得到了大幅度提升。
• 飛槳文心ERNIE開發(fā)套件。飛槳的可持續(xù)學習語義學習模型，除此之外還提供30+算法工具，20+細化的預訓練模型，20+數(shù)據(jù)處理的工具和20+基礎開發(fā)的工具，使整個數(shù)據(jù)標注投入的算法、開發(fā)時長都有大幅度降低，效率大幅度提升。

交付方式：BML有四種滿足不同需求的交付方式，包括公有云、私有云、混合云、一體機。其中一體機提供了通用的機架式的服務器方案和基于天蝎的整機柜方案，對于整體功耗、性能、散熱等都進行了優(yōu)化，并通過模型加密、代碼加固、TPM可信鑒權、主機防護等方式強化了安全保障。

國產(chǎn)化的解決方案：BML全面支持從國產(chǎn)深度學習框架飛槳，到麒麟等國產(chǎn)操作系統(tǒng)，再到國產(chǎn)CPU和GPU以及長城、曙光、聯(lián)想、浪潮推出的各類硬件形態(tài)，構成了自主可控、適配廣泛的BML一體機，高性價比的算力資源滿足各類算力需求。

企業(yè)在智能化升級的過程中，特別是從一個單點垂直場景的應用發(fā)展到多個業(yè)務場景的全面升級階段時，企業(yè)還會面臨來自AI能力的生產(chǎn)、應用和運維以及管理層面的諸多問題，這時候企業(yè)就會需要AI中臺，作為企業(yè)自身的一套AI能力的生產(chǎn)和集中化管理的平臺。

AI中臺是企業(yè)的一個智能中樞，連通企業(yè)內部的數(shù)據(jù)、知識和業(yè)務，更快更高效支撐上層的智能化的業(yè)務應用和業(yè)務創(chuàng)新。百度智能云AI中臺的核心包括AI能力引擎、AI開發(fā)平臺，再結合與之配套的數(shù)據(jù)管理、服務管理、全線資源運維管理體系等，企業(yè)就能構建一套智能化升級的基礎設施。在AI能力引擎方面，企業(yè)可以從百度已有的270多項成熟AI能力中直接選擇應用。AI 開發(fā)平臺包括EasyDL、BML和場景化定制平臺UNIT等，滿足企業(yè)的多層次開發(fā)需求。百度智能云結合具體行業(yè)特點，目前已經(jīng)打造了能源、金融、城市、媒體等多個行業(yè)化AI中臺落地解決方案，為不同行業(yè)的企業(yè)客戶提供建設AI開發(fā)和應用的自主能力，集約化管理企業(yè) AI 能力和資源，統(tǒng)籌規(guī)劃企業(yè)智能化升級版圖的有效路徑。

當人工智能與傳統(tǒng)行業(yè)加速融合，進入快速、大規(guī)模應用的階段，百度把基于自身AI技術和生態(tài)的長期積累形成的領先勢能釋放出來，以真正滿足智能時代場景應用需求的“云智一體”的方式賦能產(chǎn)業(yè)?！霸浦且惑w”成為百度智能云的核心優(yōu)勢，也是擁抱AI的企業(yè)和開發(fā)者的最優(yōu)選擇。