全域 Serverless+AI，華為云加速大模型應(yīng)用開發(fā)

日前，華為全聯(lián)接大會 2023 在上海召開。華為云 CTO 張宇昕在大會上發(fā)布了基于 Serverless 技術(shù)的大模型應(yīng)用開發(fā)框架，框架以面向 AI 領(lǐng)域全新升級的 FunctionGraph3.0 為核心，將 BaaSforAI后端和開放平臺快速無縫集成，助力企業(yè)輕松商用 AI 應(yīng)用。

在“全域 Serverless+AI加速應(yīng)用創(chuàng)新”專題演講上，華為云首席產(chǎn)品官方國偉、華為 2012 實(shí)驗(yàn)室中軟分布式與并行軟件實(shí)驗(yàn)室主任譚焜，分享了 Serverless 和 AI 如何結(jié)合的前沿理念和實(shí)踐，深度解析華為云在 Serverless 領(lǐng)域核心產(chǎn)品及基于元戎架構(gòu)構(gòu)建的分布式內(nèi)核能力，為開發(fā)者打造 ServerlessAI 極優(yōu)體驗(yàn)，幫助企業(yè)加速應(yīng)用創(chuàng)新；廣聯(lián)達(dá)科技股份有限公司首席業(yè)務(wù)專家/副總裁祁長福分享了在建筑行業(yè)，如何基于華為云 Serverless 產(chǎn)品 FunctionGraph 優(yōu)化 AI 應(yīng)用開發(fā)，提升交付效率。

全域 Serverless 為千行萬業(yè)深度用云

帶來新體驗(yàn)

方國偉介紹，在 AI 時代背景下，軟件開發(fā)的方式由以代碼為中心，走向以模型為中心，如何將 AI 大模型能力充分利用起來，是當(dāng)下云廠商積極探索的事情。

華為云首席產(chǎn)品官方國偉

企業(yè)研發(fā)人員在構(gòu)建 AIGC 應(yīng)用時更多關(guān)注開發(fā)部署門檻能否降低，更快的完成企業(yè)需求。運(yùn)維人員要確保系統(tǒng)能夠穩(wěn)定運(yùn)行，在業(yè)務(wù)量高峰時刻做到快速彈性，業(yè)務(wù)量小時節(jié)約成本，企業(yè)既能實(shí)現(xiàn)業(yè)務(wù)目標(biāo)，又能保證系統(tǒng)可靠性高、成本較低。

為了更好的支撐 AIGC 應(yīng)用，華為云提供了全域 Serverless 能力，推出了 CCEAutopilot、FunctionGraph、CAE 等 Serverless 產(chǎn)品，將一系列的 AI 原生技術(shù)構(gòu)筑成后端服務(wù)，形成 BaaSforAI 能力，調(diào)用即可得。結(jié)合完善的工具鏈，幫忙企業(yè)快速構(gòu)建應(yīng)用。

Serverless容器 CCEAutopilot、CCI 讓用戶無需關(guān)注底層資源，自動運(yùn)維，幫助用戶降低運(yùn)維成本。

在 CloudBursting 場景，去哪兒網(wǎng)基于 CCI 打造了靈活上云新體驗(yàn)，完成業(yè)務(wù) 0 改造，實(shí)現(xiàn) 4000 實(shí)例/30s 的極致彈性。

FunctionGraph3.0 八大關(guān)鍵能力，

助力 AIGC 應(yīng)用創(chuàng)新

全新升級的 FunctionGraph3.0，新增 Serverless 應(yīng)用中心、獨(dú)創(chuàng) Snapshot 冷啟動加速、預(yù)留實(shí)例智能推薦特性，配合異構(gòu)資源虛擬化技術(shù)，實(shí)現(xiàn) AIGC 應(yīng)用低成本、低延遲，加上端到端的全鏈路壓測和全?？捎^測能力，助力 AIGC 應(yīng)用快速開發(fā)，天級上線。

杭州曼孚科技有限公司是行業(yè)領(lǐng)先的 AI 基礎(chǔ)架構(gòu)與數(shù)據(jù)智能平臺服務(wù)商，基于 FunctionGraph 構(gòu)建自動化 AI 訓(xùn)練平臺，更細(xì)粒度的 GPU 算力供給加上按需全自動資源彈性，實(shí)現(xiàn)成本降低 40%。

華為云 Serverless 事件總線服務(wù)事件網(wǎng)格 EventGrid 能夠支持統(tǒng)一事件中心、事件驅(qū)動引擎、開放與集成、降低開發(fā)成本四大典型場景，為企業(yè)提供中心化的事件集成、治理和驅(qū)動能力。

在車聯(lián)網(wǎng)場景，某 Top 車企使用 EventGrid 構(gòu)建 Serverless 化的事件驅(qū)動架構(gòu)的同時，實(shí)現(xiàn)上下游異步解耦，便于擴(kuò)展和避免單點(diǎn)故障；作為無碼化對接的事件中心，避免云服務(wù)間點(diǎn)對點(diǎn)對接，減少 50%開發(fā)工作量以及數(shù)據(jù)高可靠 0 丟失和數(shù)據(jù)規(guī)則調(diào)整 0 變更。降低成本。

Serverless 應(yīng)用托管 CAE 產(chǎn)品升級：支持應(yīng)用 0 代碼修改平遷上云，用戶無需修改業(yè)務(wù)代碼；支持 Web/微服務(wù)應(yīng)用 Serverless 化，幫助企業(yè)降本增效，提升業(yè)務(wù)穩(wěn)定性。

香港新世界旗下廣州新合創(chuàng)科技有限公司，使用 CAE 全托管模式提升 50%效率；后續(xù)還會根據(jù)商場人流峰值設(shè)定定時伸縮，節(jié)省資源以降低成本。

BaaSforAI：華為云 BaaS 服務(wù) DWS3.0提供 PayByResource 彈性模式和 PayByQuery 彈性模式，幫助企業(yè)實(shí)現(xiàn)后端服務(wù) Serverless 化。

“華為云提供全域 Serverless 能力，讓開發(fā)者 5 倍速開發(fā)行業(yè)大模型，支撐千行萬業(yè)的 AI 應(yīng)用開發(fā)。面向 AI 領(lǐng)域全新升級的 FunctionGraph3.0，真正實(shí)現(xiàn)大模型應(yīng)用即開即關(guān)、即時響應(yīng)，無限擴(kuò)展?！?/p>

Serverless挺進(jìn)AI，

強(qiáng)強(qiáng)聯(lián)合加速 AI 應(yīng)用創(chuàng)新

華為 2012 實(shí)驗(yàn)室中軟分布式與并行軟件實(shí)驗(yàn)室主任譚焜

基于自主創(chuàng)新元戎內(nèi)核構(gòu)建的 FunctionGraph3.0 如何保障 AI 應(yīng)用開發(fā)部署低成本和響應(yīng)低時延，譚焜做了深入的技術(shù)分享:

模型開發(fā)部署依賴昂貴的異構(gòu)資源。傳統(tǒng)的異構(gòu)函數(shù)，CPU 和 XPU 資源綁定分配，單一推理函數(shù)包含 CPU 和 XPU 操作，操作 CPU 時 XPU 空閑，操作 XPU 時 CPU 空閑，資源利用率低。元戎獨(dú)創(chuàng)的純 XPU 異構(gòu)函數(shù)，CPU 和 XPU 資源綁定解耦，用戶可把不同類型資源的操作寫成不同的函數(shù)，執(zhí)行時分解到不同算力處理器上，無閑置資源。

FunctionGraph 打造 ServerlessAI 最佳平臺

在大模型推理場景，包括全量推理和增量推理兩個階段。全量推理階段算力需求遠(yuǎn)高于增量推理階段，增量推理階段，耗時可能遠(yuǎn)長于全量推理階段。針對這類場景，元戎可以做到全量推理和增量推理解耦，各自按需彈性擴(kuò)縮，精確算力供給，真正按使用量計(jì)費(fèi)，降低用戶成本。

更快的應(yīng)用響應(yīng)速度意味著更好的用戶體驗(yàn)。元戎自主創(chuàng)新的 FoldFormerAI 模型可在線持續(xù)預(yù)測用戶業(yè)務(wù)負(fù)載，提前進(jìn)行實(shí)例預(yù)熱，達(dá)到 85%~95%準(zhǔn)確率，大大降低了冷啟動概率。無法被準(zhǔn)確預(yù)測的流量，通過一系列優(yōu)化措施加速冷啟動。在用戶模型下載階段，基于內(nèi)置的內(nèi)存數(shù)據(jù)系統(tǒng)和 SSD 構(gòu)建的分級高速緩存，實(shí)現(xiàn)系統(tǒng)內(nèi)緩存模型文件，大幅縮短下載時間。計(jì)算時，模型按 Layer 分批加載，并根據(jù)用戶 SLA 和模型推理時延歷史數(shù)據(jù)構(gòu)建最優(yōu) pipeline,降低參數(shù)加載和模型推理總時延，冷啟動優(yōu)化到秒級。

譚焜最后總結(jié)道：“基于元戎內(nèi)核，F(xiàn)unctionGraph3.0 提供異構(gòu)函數(shù)極速冷啟動，細(xì)粒度異構(gòu)資源管理和按需彈性擴(kuò)縮，打造 ServerlessAI 極低成本和極致性能；依托華為云豐富的 BaaS 服務(wù)和全托管的開發(fā)環(huán)境，打造 ServerlessAI 極優(yōu)體驗(yàn)?！?/p>

AI 賦能建筑行業(yè)數(shù)字化

廣聯(lián)達(dá)科技股份有限公司首席業(yè)務(wù)專家/副總裁祁長福發(fā)表 AI 賦能建筑行業(yè)數(shù)字化主題演講?！皬V聯(lián)達(dá)作為數(shù)字建筑平臺服務(wù)商，立足建筑產(chǎn)業(yè)，圍繞工程項(xiàng)目的全生命周期，為客戶提供數(shù)字化解決方案，公司提出“數(shù)字建筑”理念，希望通過“數(shù)字建筑”系統(tǒng)、全面、深度地助力建筑產(chǎn)業(yè)轉(zhuǎn)型升級?！?/p>

廣聯(lián)達(dá)科技股份有限公司首席業(yè)務(wù)專家/副總裁祁長福

祁長福介紹，在技術(shù)方面，廣聯(lián)達(dá)通過大力研發(fā) BIM和云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、人工智能等信息技術(shù)引領(lǐng)產(chǎn)業(yè)轉(zhuǎn)型升級。

在 AI 領(lǐng)域，廣聯(lián)達(dá)圍繞行業(yè)難點(diǎn)，圍繞設(shè)計(jì)、成本、施工等重點(diǎn)領(lǐng)域，打造核心 AI 應(yīng)用。應(yīng)用設(shè)計(jì)采用 Serverless 理念，依托華為云 Serverless 服務(wù)構(gòu)建解決方案，將 AI 模型以鏡像方式部署在 FunctionGraph，對外提供通用 API，無需管理運(yùn)維異構(gòu)資源（GPU 等），模型實(shí)例隨業(yè)務(wù)量全自動擴(kuò)縮容，無請求時實(shí)例縮容到 0，低成本高可用運(yùn)行。上層應(yīng)用采用 FaaS+BaaS 的 Serverless 應(yīng)用架構(gòu)，集成模型推理接口，只需專注于業(yè)務(wù)邏輯代碼，可函數(shù)級粒度并行開發(fā)，快速迭代應(yīng)用。

華為云 FunctionGraph 技術(shù)極大的優(yōu)化了 AI 應(yīng)用的開發(fā)過程，讓 AI 團(tuán)隊(duì)可以更關(guān)注業(yè)務(wù)實(shí)現(xiàn)，而無需關(guān)注底層技術(shù)細(xì)節(jié)。

“廣聯(lián)達(dá)以推動建筑行業(yè)數(shù)字化為己任，著力打造‘?dāng)?shù)字+連接+算法’的系統(tǒng)性數(shù)字化。圍繞行業(yè)痛點(diǎn)，我們以智能化技術(shù)為基礎(chǔ)，依托華為云 FunctionGraphSeverless 架構(gòu)，打造建筑從業(yè)人員的 CoPilot，幫助行業(yè)人員提升作業(yè)效率，提高管理水平和決策質(zhì)量?！?/p>

未來，華為云將持續(xù)落地全域 Serverless 產(chǎn)品，與華為 2012 實(shí)驗(yàn)室深度合作，以 FunctionGraph3.0 為核心，打造 ServerlessAI 極低成本和極致性能，充分滿足大模型應(yīng)用的敏捷要求，助力千行萬業(yè)深度用云。

審核編輯 黃宇