5 月 26 日-27 日,由 msup 主辦的 2023 年 A2M 峰會(huì)在上海南新雅皇冠假日酒店盛大舉行。本次 A2M 峰會(huì)以“AIGC 時(shí)代下的 AI 落地實(shí)踐、數(shù)據(jù)智能和基礎(chǔ)架構(gòu)演進(jìn)”為主題,邀請(qǐng)了 100 余位行業(yè)專家從支撐數(shù)字化轉(zhuǎn)型的幾個(gè)關(guān)鍵技術(shù)切面入手,甄選前沿有典型代表的 84 個(gè)技術(shù)創(chuàng)新及研發(fā)實(shí)踐的架構(gòu)案例,分享他們本年度的總結(jié)和實(shí)踐啟示。
峰會(huì)第二日,華為云 Serverless 研發(fā)工程師朱安東帶來了主題為“Serverless“遇見”AI,釋放 AI 生產(chǎn)力”的分享,重點(diǎn)介紹了業(yè)界領(lǐng)先的基于函數(shù)計(jì)算的 ServerlessAI推理解決方案,并展示了華為云函數(shù)工作流(FunctionGraph)的靈活、速度,如何讓開發(fā)人員提升工程效率,縮短 TTM 等。
華為云serverless 研發(fā)工程師朱安東
朱安東表示:“AIGC 正逐漸在千行百業(yè)生根發(fā)芽,并且快速成為了行業(yè)中重要的生產(chǎn)力工具。伴隨著 AIGC 大模型以及領(lǐng)域?qū)<翌愋偷闹行∧P偷目焖傺葸M(jìn),引發(fā)了海量 AI 推理、大模型托管以及底層強(qiáng)大算力的訴求。然而,要想實(shí)現(xiàn) AI 扎根千行百業(yè)、實(shí)現(xiàn)“AIeverywhere”的最終目標(biāo),我們?nèi)匀挥泻荛L的路要走?!?/p>
Serverless——AIeverywhere 的下一塊拼圖
從業(yè)內(nèi)工程師的角度來看,AI 應(yīng)用迭代發(fā)展的核心痛點(diǎn)主要包含 2 個(gè)方面:
第一:算法工程師作為 AI 應(yīng)用的核心開發(fā)者通常只會(huì)和模型、數(shù)據(jù)以及代碼打交道,主要工作圍繞數(shù)據(jù)清洗、數(shù)據(jù)工程、特征工程還有模型設(shè)計(jì)、開發(fā)、訓(xùn)練等,偏研究和理論方向。但是一旦涉及到算法模型和 AI 應(yīng)用的最終落地,推廣給大量用戶使用就會(huì)涉及到模型發(fā)布、上線等動(dòng)作,為了完成這些流程,開發(fā)者通常需要去花時(shí)間和經(jīng)歷學(xué)習(xí)托管類知識(shí),尤其是云原生時(shí)代下的 docker還有 k8s 等;
第二:對(duì)于參數(shù)量很大的模型上線后很難找到足量、優(yōu)質(zhì)的算力資源快速獲得推理結(jié)果,推理性能差。從基礎(chǔ)架構(gòu)工程師的視角來看,GPU 硬件設(shè)備成本高,研究階段的需求量尚且能夠滿足,但是上線后面對(duì)海量用戶和請(qǐng)求的資源量過于龐大,需要大量的投入;
另外,業(yè)務(wù)通常都是有浮動(dòng)趨勢(shì)的,就像旅游業(yè)的淡季和旺季,為了滿足業(yè)務(wù)峰值準(zhǔn)備的資源在業(yè)務(wù)量低的時(shí)候資源利用率也隨之降低,資源嚴(yán)重浪費(fèi)。
綜上,AI 應(yīng)用如果想深入到人們的生活仍有很多問題需要克服。那么如何加速 AI 應(yīng)用快速落地、敏捷迭代呢?Serverless 是以應(yīng)用為中心的新型云原生計(jì)算形態(tài),這是業(yè)界的共識(shí)。而“用戶無感、按需使用、以應(yīng)用為中心,無需關(guān)注基礎(chǔ)設(shè)施”這幾個(gè)特性正好可以解決 AI 應(yīng)用的幾個(gè)痛點(diǎn)問題:
第一:以應(yīng)用為中心:AI 工程師可以專注業(yè)務(wù)邏輯和模型 performance,節(jié)約下大量的時(shí)間和精力。
第二:無需關(guān)注基礎(chǔ)設(shè)施:企業(yè)和架構(gòu)工程師無需提前準(zhǔn)備海量計(jì)算資源、自建機(jī)房,只需按需使用,按量計(jì)費(fèi)。
華為云 FunctionGraph 解決 AI 用戶上云 4 大問題
華為云 FunctionGraph 函數(shù)工作流是一項(xiàng)基于事件驅(qū)動(dòng)的函數(shù)托管計(jì)算服務(wù),通過函數(shù)工作流,只需編寫業(yè)務(wù)函數(shù)代碼并設(shè)置運(yùn)行的條件,無需配置和管理服務(wù)器等基礎(chǔ)設(shè)施,函數(shù)便可以彈性、免運(yùn)維、高可靠的方式運(yùn)行。對(duì)于現(xiàn)階段人們對(duì)業(yè)務(wù)、彈性以及降本增效等訴求提升,華為云 FunctionGraph 無疑是 AI 推理 Serverless 化的優(yōu)質(zhì)選項(xiàng)。
在 Serverless 的開發(fā)模式下,開發(fā)人員和交付流程實(shí)際上是有明顯界限的。開發(fā)人員只需要上傳代碼包或者一個(gè)鏡像文件即可讓整個(gè)業(yè)務(wù)跑起來,不需要面對(duì)繁瑣的交付流程。
為了讓用戶能夠在 Serverless 平臺(tái)上更加絲滑、流暢的開發(fā)和運(yùn)行 AI,華為云 FunctionGraph 推出了針對(duì) AI 場景的解決方案,主要解決 AI 用戶上云的四大問題:
①工程效率
模型開發(fā)、編排:專注業(yè)務(wù)代碼,NoOps,低碼編排
支持代碼包,容器鏡像
②性能、彈性:
長時(shí)負(fù)載,支持異步函數(shù)調(diào)用,最長函數(shù)執(zhí)行時(shí)間 72 小時(shí)
冷啟動(dòng)問題:池化預(yù)熱、彈性調(diào)度
③運(yùn)行時(shí)、異構(gòu)計(jì)算:
支持 GPU/NPU,加速推理性能
支持 GPU 共享,提升資源利用率
④模型加載加速:
大文件加載:OBS+SFS 結(jié)合,解決 ML 模型庫 &模型自身大文件加載問題;
鏈路加速:高性能解壓縮轉(zhuǎn)換,降網(wǎng)絡(luò)開銷、CPU 解壓耗時(shí);共享內(nèi)存加速技術(shù),降解壓 IO 開銷;依賴包預(yù)加載,降低公共依賴的下載、解壓耗時(shí)
同時(shí)華為云 FunctionGraph 基于函數(shù)計(jì)算的ServerlessAI推理解決方案具有 5 大優(yōu)勢(shì):
1.更低的學(xué)習(xí)成本,更卓越的工程效率,更短的 TTM
華為云 FunctionGraph 可以極大提升開發(fā)效率。精通 Python 的算法科學(xué)家無需學(xué)習(xí)如何安裝、配置和操作復(fù)雜的計(jì)算和數(shù)據(jù)存儲(chǔ)基礎(chǔ)設(shè)施,通過可視化拖拽式函數(shù)流便能編排復(fù)雜業(yè)務(wù)場景。此外,函數(shù)還支持容器鏡像,簡化了 AI 推理 Serverless 化。
2.豐富的函數(shù)開發(fā)生態(tài)。
華為云 FunctionGraph 支持 GPU/NPU 能力,具備 GPU 虛擬化技術(shù),從而提高 GPU 硬件資源的利用率并降低使用成本。
3.更低的資源成本,按需付費(fèi),提供工作負(fù)載感知智能推薦能力。
函數(shù)計(jì)算以 1ms 粒度按量計(jì)費(fèi),函數(shù)編排基于節(jié)點(diǎn)執(zhí)行次數(shù)計(jì)費(fèi)
4.極致的冷啟動(dòng)、彈性及更智能的調(diào)度能力。
資源池化預(yù)熱、分層預(yù)加載與彈性水位控制:通過單實(shí)例多并發(fā)、分層預(yù)熱提升性能、降低成本。函數(shù)實(shí)例百毫秒冷啟動(dòng)時(shí)延,毫秒級(jí)彈性。
5.多維度結(jié)合的大文件加載加速能力。
高性能解壓縮轉(zhuǎn)換,降網(wǎng)絡(luò)開銷、CPU 解壓耗時(shí)。
共享內(nèi)存加速技術(shù),降解壓 IO 開銷。
依賴包預(yù)加載,降低公共依賴的下載、解壓耗時(shí)
Serverless 代表現(xiàn)代化架構(gòu)的演進(jìn)方向,與微服務(wù)將長期并存,在 5-10 年內(nèi)將成為云的首要交付模式。根據(jù) IDC 今天發(fā)布的《全球半年度公有云服務(wù)跟蹤報(bào)告》顯示,2020 年全球云計(jì)算市場同比增長 24.1%,收入總額達(dá) 3120 億美元。同時(shí) Serverless 對(duì)客戶端還具有成本優(yōu)化、效率提升的商業(yè)價(jià)值。面對(duì) Serverless 的發(fā)展大勢(shì),華為云將打造全棧全場景的 Serverless 能力,并在音視頻、數(shù)據(jù)處理、物聯(lián)網(wǎng)、端測應(yīng)用等場景優(yōu)先推廣落地,圍繞這些場景進(jìn)行打穿,推動(dòng)相關(guān)高階服務(wù)進(jìn)行 Serverless 化改造。今年,華為云在能力打造上將優(yōu)先推出函數(shù)計(jì)算 2.0、Serverless 應(yīng)用托管CAE、事件網(wǎng)格服務(wù) EventGrid、ADM 等;同時(shí),也將在 Serverless 開發(fā)工具及可觀測性上構(gòu)建端到端的能力,并重點(diǎn)在前端 Trigger、后端 BaaS 上進(jìn)行豐富,全面打造 Serverless 應(yīng)用生態(tài)。華為云 FunctionGraph 期待與更多的開發(fā)者見面。
華為云持續(xù)將最先進(jìn)的技術(shù)提供給全球的客戶、伙伴和開發(fā)者,助力千行百業(yè)的客戶商業(yè)成功。
審核編輯 黃宇
-
AI
+關(guān)注
關(guān)注
87文章
28877瀏覽量
266221 -
華為云
+關(guān)注
關(guān)注
3文章
2343瀏覽量
17105 -
AIGC
+關(guān)注
關(guān)注
1文章
332瀏覽量
1372
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論