Arm Kleidi加速AI發(fā)展

作者：Arm 開(kāi)發(fā)者平臺(tái)副總裁 Geraint North

在持續(xù)快速發(fā)展的人工智能 (AI) 時(shí)代，我們堅(jiān)定地支持全球數(shù)百萬(wàn)開(kāi)發(fā)者，確保他們能夠獲得所需的性能、工具和軟件庫(kù)，從而順利打造下一波令人驚嘆的 AI 體驗(yàn)。

為此，我們推出了 Arm Kleidi，這是一項(xiàng)廣泛的軟件和軟件社區(qū)參與計(jì)劃，旨在加速 AI 發(fā)展。其中的第一個(gè)舉措是推出面向熱門(mén) AI 框架的 Arm Kleidi 軟件庫(kù)。這使開(kāi)發(fā)者可以直接取得 Arm CPU 的出色 AI 功能，而如今全球從云端到邊緣側(cè)的大多數(shù) AI 推理工作負(fù)載都在這些 Arm CPU 上運(yùn)行。開(kāi)發(fā)者可以借助 Arm 超過(guò) 20 年的架構(gòu)創(chuàng)新，從 Armv7 架構(gòu)首次引入高級(jí)單指令多數(shù)據(jù) (SIMD) 擴(kuò)展以支持機(jī)器學(xué)習(xí) (ML) 工作負(fù)載，到如今的 Armv9 架構(gòu)在 Arm CPU 上囊括了加速和保護(hù)高級(jí)生成式 AI 工作負(fù)載的功能，這些創(chuàng)新持續(xù)推動(dòng) AI 能力和性能的提升。

Kleidi 軟件庫(kù)包含面向 AI 工作負(fù)載的 KleidiAI 和面向運(yùn)行于 Arm CPU 上出色的計(jì)算機(jī)視覺(jué)工作負(fù)載的 KleidiCV。該軟件庫(kù)可以被直接嵌入到熱門(mén)的 AI 框架中，開(kāi)發(fā)者無(wú)需進(jìn)行任何操作。如此一來(lái)，開(kāi)發(fā)者可以輕松地啟用 Arm CPU 的 AI 功能，從而快速構(gòu)建 AI 應(yīng)用，并在盡可能廣泛的設(shè)備上實(shí)現(xiàn)最出色性能。

加速 AI 發(fā)展

為了應(yīng)對(duì)設(shè)備類(lèi)型、神經(jīng)網(wǎng)絡(luò)和推理引擎的爆發(fā)式增長(zhǎng)，KleidiAI 是我們所給出的解決方案。它由一系列高度優(yōu)化的 AI 內(nèi)核組成，可在生成式 AI 等用例中實(shí)現(xiàn)高性能。KleidiAI 的優(yōu)勢(shì)在于，我們不會(huì)給開(kāi)發(fā)者額外增加工作量，而是直接與領(lǐng)先的 AI 框架合作，包括 MediaPipe（通過(guò) XNNPACK）、LLAMA.cpp、PyTorch（通過(guò) ExecuTorch）和 TensorFlow Lite（通過(guò) XNNPACK），以集成 KleidiAI。這不僅加快了開(kāi)發(fā)流程，并釋放了 AI 性能，為開(kāi)發(fā)者提供了默認(rèn)的高性能，使他們能夠順利地打造出色的 AI 體驗(yàn)。KleidiAI 還提供了前瞻性的兼容性，隨著我們推出更多的技術(shù)，這將確保開(kāi)發(fā)者能夠充分利用未來(lái) AI 加速機(jī)會(huì)。

KleidiAI 的集成已經(jīng)為生成式 AI 工作負(fù)載帶來(lái)了顯著的性能提升。與參考實(shí)現(xiàn)方案（基于 llama.cpp，但不含我們的軟件 Kleidi 優(yōu)化）相比，在新的 Arm Cortex-X925 CPU 上，使用（集成了 KleidiAI 的）llama.cpp 的 Meta Llama 3 和微軟 Phi-3 大語(yǔ)言模型 (LLM) 的詞元 (Token) 首次響應(yīng)時(shí)間加快了 190%。KleidiAI 非常易于集成，Arm 的工程團(tuán)隊(duì)只用不到 24 小時(shí)就測(cè)出了 Llama 3 的優(yōu)化性能。此外，KleidiAI 還通過(guò) XNNPACK 與 MediaPipe 集成，為在移動(dòng)設(shè)備上運(yùn)行的開(kāi)源 Gemma LLM 提供支持。得益于此，Google Pixel 8 Pro 智能手機(jī)上 Gemma 2B 的詞元首次響應(yīng)時(shí)間縮短了 25%。

與此同時(shí)，我們正在與 Unity 合作開(kāi)發(fā) Sentis，這是一個(gè)端側(cè) AI 推理引擎，可讓游戲開(kāi)發(fā)者在所有支持 Unity 游戲引擎的設(shè)備上打造創(chuàng)新的 AI 游戲體驗(yàn)。在集成 KleidAI 后，Unity Sentis 成功啟用了 int4 量化功能，將模型內(nèi)存占用率降低了 72.5%，同時(shí)在運(yùn)行 Phi-2 LLM 時(shí)性能提升了 660%。

加速計(jì)算機(jī)視覺(jué)發(fā)展

KleidiCV 能夠加速許多攝像頭用例中的計(jì)算機(jī)視覺(jué)管線。OpenCV 是全球最大的計(jì)算機(jī)視覺(jué)庫(kù)，包含 2,500 多種算法，為數(shù)十萬(wàn)開(kāi)發(fā)者提供支持?；?KleidiCV 集成，OpenCV 發(fā)現(xiàn)各種圖像處理任務(wù)的典型性能提升高達(dá) 75%。作為我們與 OpenCV 的戰(zhàn)略軟件合作關(guān)系[1]的一部分，我們還首次將安卓構(gòu)建引入 Maven Central，這是一個(gè)面向 Java 開(kāi)發(fā)的開(kāi)源軟件組件、軟件庫(kù)的資源庫(kù)。

CPU 上的 AI 優(yōu)勢(shì)

Arm Kleidi 專(zhuān)注于加速 CPU 上的 AI 功能，因?yàn)樵诖蠖鄶?shù)情況下，所有 AI 工作負(fù)載都會(huì)從CPU 上開(kāi)始運(yùn)行。這使得 CPU 成為開(kāi)發(fā)者在為其 AI 工作負(fù)載設(shè)定目標(biāo)時(shí)的最便捷路徑。因此，我們?yōu)殚_(kāi)發(fā)者提供的這一路徑性能越出色，他們就更有可能在開(kāi)發(fā)過(guò)程中繼續(xù)使用 CPU 并將其作為目標(biāo)。此外，隨著 LLM 變得更小更高效，越來(lái)越多的 AI 工作負(fù)載將適合在 CPU 上處理。最終，開(kāi)發(fā)過(guò)程將變得更加順暢、無(wú)縫，進(jìn)而優(yōu)化開(kāi)發(fā)者的 AI 工作負(fù)載性能。

在 Arm 平臺(tái)上構(gòu)建 AI 的未來(lái)

Arm Kleidi 的推出再次突顯了 Arm 作為端側(cè)生成式 AI 計(jì)算平臺(tái)的領(lǐng)先地位。它使開(kāi)發(fā)者無(wú)需學(xué)習(xí)額外的工具和技能，就能夠在非常廣泛的硬件中獲得 Arm CPU 的出色 AI 性能。隨著我們不斷創(chuàng)新，持續(xù)為新一代 AI 打造前沿架構(gòu)，開(kāi)發(fā)者未來(lái)將能夠獲得更強(qiáng)大、更先進(jìn)的 AI 功能。對(duì)于最終用戶(hù)來(lái)說(shuō)，這意味著更快速、更智能、更具交互性、更沉浸式、更安全的出色 AI 體驗(yàn)。

Arm Kleidi 的推出只是一個(gè)開(kāi)端，我們未來(lái)還計(jì)劃推出更多軟件庫(kù)、計(jì)算內(nèi)核和引擎集成。我們將持續(xù)在 Arm 平臺(tái)上構(gòu)建 AI 的未來(lái)。