基于 ODLA 的異構 AI 硬件對接方案介紹

在剛剛結束的 2020 云棲大會上，阿里云宣布對行業(yè)開源業(yè)界首個深度學習開放接口標準 ODLA（Open Deep Learning API）。阿里云在今年 5 月份的 OCP 全球峰會上首次對外公布 ODLA 接口標準，并宣布已率先在 Graphcore 等生態(tài)伙伴上獲得支持。IPU 是 Graphcore 為機器智能從零設計的 AI 處理器，通過 ODLA 接口，開發(fā)者可以在 IPU 上快速跑通 AI Matrix 的各類模型。

張偉豐博士在 2020 OCP 全球峰會上公布 ODLA 接口標準

ODLA 是一個為加速深度學習的統(tǒng)一異構硬件編程接口。ODLA 規(guī)范了深度學習計算任務的定義和執(zhí)行，實現(xiàn)上層應用和底層異構硬件平臺的解耦，讓 AI 異構計算更簡單，實踐代碼“生成一次，隨時鏈接，隨處執(zhí)行”的愿景。

“令人興奮的新應用程序意味著我們對數(shù)據(jù)中心的期望比以往任何時候都要更高。我們希望通過使用更廣泛的硬件選擇，以更大的規(guī)模，擴大操作類型范圍。ODLA 使我們能夠管理這種復雜性，并挖掘出這些出色的新技術的全部潛力?！盙raphcore 高級副總裁兼中國區(qū)總經(jīng)理盧濤表示。

阿里云開發(fā) ODLA 是為了解決異構計算中存在許久的一個核心挑戰(zhàn)。ODLA 是輕量高效的異構硬件統(tǒng)一接口標準，可在異構計算環(huán)境中實現(xiàn)效率最大化。在異構計算環(huán)境中，軟件框架需要從專業(yè)芯片中獲得最高性能，需要多種類型處理器在一個通用平臺上協(xié)同工作，而每種處理器都需要針對其架構和專業(yè)知識領域進行某種程度的優(yōu)化，例如 AI 的稀疏性。API 提供的抽象級別可以適應芯片架構之間的差異。

基于 ODLA 的異構 AI 硬件對接方案

通過 ODLA，在 Graphcore IPU 上技術適配和應用部署的工作量可以實現(xiàn)大幅度降低，且實現(xiàn)效率大幅提升。另外，通過 ODLA 可以更好的與 AI 計算框架進行軟硬協(xié)同，快速利用現(xiàn)有的編譯優(yōu)化技術，達到最佳性能。對于異構任務，ODLA 充當該系統(tǒng)范圍通用語言與特定于架構的優(yōu)化之間的接口或轉換器，該優(yōu)化可從 Graphcore 的 IPU 等設備實現(xiàn)最佳性能。

對于數(shù)據(jù)中心運營商而言，除了簡化了新微處理器技術的集成之外，ODLA 還帶來了其他一系列好處。它支持通用和高性能的數(shù)據(jù)中心設置，并為高級應用程序提供統(tǒng)一的加速框架。對于應用程序開發(fā)人員來說，它減少了對不同架構進行重復優(yōu)化的需求，并應該可以減少開發(fā)成本，縮短產(chǎn)品上市時間。

ODLA 在 2020 云棲大會上宣布的主要特性及優(yōu)勢包含：

透明接口層，零損耗。

接口抽象和統(tǒng)一，軟硬件解耦：通過面向 AI 的多粒度算子抽象，定義統(tǒng)一的接口，解耦具體軟硬件，平滑遷移業(yè)務；實現(xiàn)代碼復用，提升開發(fā)和部署效率。

多模態(tài)執(zhí)行方式：支持多種執(zhí)行模式，覆蓋解釋執(zhí)行、編譯執(zhí)行、載入預編譯代碼等場景，兼容各種硬件的運行模式。

AI 全場景支持：支持推理和訓練，適配云、邊、端全場景 AI 業(yè)務；擁有廣泛的算子定義和豐富的接口（設備管理、會話管理、執(zhí)行管理、事件同步 / 異步、資源查詢、性能監(jiān)控等）。

卓越的擴展性，支持 AI 芯片廠家獨特屬性和自定義算子。

張偉豐博士在云棲大會上宣布開源 ODLA

Graphcore 公司相信，IPU 將成為下一代數(shù)據(jù)中心 AI 工作負載的核心。我們深知，我們的愿景需要 ODLA 在內(nèi)的諸多框架和工具，這些框架和工具能使我們的產(chǎn)品與其他同類最佳技術協(xié)同工作。

Graphcore 的聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Nigel Toon 表示：“ODLA 優(yōu)雅地滿足了 Graphcore 新用戶的兩個最大需求。一是他們希望輕松地將我們的技術集成到現(xiàn)有的數(shù)據(jù)中心，二是他們希望確保最終的設置在從各個組件到整個系統(tǒng)的每個層級都能得到高度優(yōu)化?！?br /> 責任編輯:pj