AI模型只能部署在云端？高通白皮書(shū)發(fā)布：混合AI是AI的未來(lái)

近日，高通技術(shù)公司正式發(fā)布白皮書(shū)《混合 AI 是 AI 的未來(lái)》。高通在白皮書(shū)中提到，隨著生成式 AI 正以前所未有的速度發(fā)展以及計(jì)算需求的日益增長(zhǎng)，AI 處理必須分布在云端和終端進(jìn)行，才能實(shí)現(xiàn) AI 的規(guī)模化擴(kuò)展并發(fā)揮其最大潛能——正如傳統(tǒng)計(jì)算從大型主機(jī)和瘦客戶端演變?yōu)楫?dāng)前云端和邊緣終端相結(jié)合的模式。與僅在云端進(jìn)行處理不同，混合 AI 架構(gòu)在云端和邊緣終端之間分配并協(xié)調(diào) AI 工作負(fù)載。云端和邊緣終端如智能手機(jī)、 汽車(chē)、個(gè)人電腦和物聯(lián)網(wǎng)終端協(xié)同工作，能夠?qū)崿F(xiàn)更強(qiáng)大、更高效且高度優(yōu)化的 AI。

高通產(chǎn)品管理高級(jí)副總裁兼 AI 負(fù)責(zé)人 Ziad Asghar 在媒體溝通會(huì)上進(jìn)一步分享了高通對(duì)于混合 AI 的愿景，以及如何結(jié)合自身的產(chǎn)品技術(shù)優(yōu)勢(shì)，讓混合 AI 的愿景成為現(xiàn)實(shí)。

Ziad Asghar 表示，“我們正在引領(lǐng)混合 AI 愿景的實(shí)現(xiàn)。對(duì)隱私和安全要求比較高的終端側(cè)工作負(fù)載，可以繼續(xù)通過(guò)邊緣云，完全在終端側(cè)完成。對(duì)于其它的模型工作，我們也可以和云服務(wù)供應(yīng)商合作完成。通過(guò)在云端和邊緣側(cè)終端分布工作負(fù)載，我們能夠大幅度減少云端的處理量。混合 AI 的優(yōu)勢(shì)在于，即使不同終端處理能力不盡相同，但仍然能夠提供相近的體驗(yàn)，同時(shí)帶來(lái)包括成本、能耗、隱私與安全、個(gè)性化等優(yōu)勢(shì)；還能通過(guò)出色的 5G 連接技術(shù)確保信息在端到端之間進(jìn)行高效傳輸。”

混合 AI 對(duì)生成式 AI 規(guī)?；瘮U(kuò)展至關(guān)重要

ChatGPT 的爆火掀起生成式 AI 熱潮。自 2022 年 11 月推出后，ChatGPT 僅用了短短兩個(gè)月時(shí)間月活用戶便達(dá)到 1 億，成為有史以來(lái)增長(zhǎng)速度最快的消費(fèi)類(lèi)應(yīng)用和第一個(gè)殺手級(jí)的生成式 AI 應(yīng)用。

作為一項(xiàng)變革性的技術(shù)，生成式 AI 顛覆了原有的工作、娛樂(lè)方式，并擁有非常豐富的應(yīng)用領(lǐng)域，應(yīng)用數(shù)量也在不斷激增。具體而言，生成式 AI 的應(yīng)用主要包括搜索、內(nèi)容生成、生產(chǎn)力、代碼編寫(xiě)等等，能夠在數(shù)秒之內(nèi)通過(guò)大型基礎(chǔ)模型創(chuàng)作內(nèi)容。數(shù)據(jù)顯示，AI 正迎來(lái)大爆發(fā)時(shí)期，目前已有超過(guò) 3000 個(gè)可用的生成式 AI 應(yīng)用和特性。

據(jù)初步估計(jì)顯示，生成式 AI 市場(chǎng)規(guī)模將達(dá)到 1 萬(wàn)億美元，廣泛覆蓋生態(tài)鏈的各個(gè)參與方。為把 握這一巨大機(jī)遇，并推動(dòng) AI 成為主流，計(jì)算架構(gòu)需要不斷演進(jìn)并滿足大規(guī)模生成式 AI 日益增長(zhǎng)的處理和性能需求。

擁有數(shù)十億參數(shù)的眾多生成式 AI 模型對(duì)計(jì)算基礎(chǔ)設(shè)施提出了極高的需求。因此，無(wú)論是為 AI 模型優(yōu)化參數(shù)的 AI 訓(xùn)練，還是執(zhí)行該模型的 AI 推理，至今都一直受限于大型復(fù)雜模型而在云端部署。

AI 推理的規(guī)模遠(yuǎn)高于 AI 訓(xùn)練。盡管訓(xùn)練單個(gè)模型會(huì)消耗大量資源，但大型生成式 AI 模型預(yù)計(jì)每年僅需訓(xùn)練幾次。然而，這些模型的推理成本將隨著日活用戶數(shù)量及其使用頻率的增加而增加。在云端進(jìn)行推理的成本極高，這將導(dǎo)致規(guī)?；瘮U(kuò)展難以持續(xù)。

高通認(rèn)為，混合 AI 能夠解決上述問(wèn)題，正如傳統(tǒng)計(jì)算從大型主機(jī)和瘦客戶端演變?yōu)楫?dāng)前云端和 PC、智能手機(jī)等邊緣終端相結(jié)合的模式。

具體來(lái)說(shuō)，混合 AI 指終端和云端協(xié)同工作，在適當(dāng)?shù)膱?chǎng)景和時(shí)間下分配 AI 計(jì)算的工作負(fù)載，以提供更好的體驗(yàn)，并高效利用資源。在一些場(chǎng)景下，計(jì)算將主要以終端為中心，在必要時(shí)向云端分流任務(wù)。而在以云為中心的場(chǎng)景下，終端將根據(jù)自身能力，在可能的情況下從云端分擔(dān)一些 AI 工作負(fù)載?；旌?AI 架構(gòu) (或僅在終端側(cè)運(yùn)行 AI)，能夠在全球范圍帶來(lái)成本、能耗、性能、隱私、安全和個(gè)性化優(yōu)勢(shì)。

利用邊緣側(cè)終端規(guī)?；?擴(kuò)展生成式 AI

Ziad Asghar 表示，當(dāng)前很多人將生成式 AI 和云端聯(lián)系在一起，通過(guò)高通的技術(shù)，能夠讓這些出色的用例在邊緣側(cè)實(shí)現(xiàn)?！吧墒?AI 對(duì)眾多領(lǐng)域產(chǎn)生了廣泛影響，目前有大量的新興應(yīng)用需要生成式 AI 能力，且已經(jīng)擁有了龐大的用戶規(guī)模，市場(chǎng)上也出現(xiàn)了眾多非常龐大的模型。我們認(rèn)為，要真正釋放生成式 AI 的全部潛能，AI 需要在邊緣側(cè)運(yùn)行，這也是高通一直努力的方向，我們相信憑借我們的技術(shù)，我們能夠帶來(lái)遙遙領(lǐng)先的終端側(cè)生成式 AI 體驗(yàn)?！?/p>

在以終端為中心的混合AI架構(gòu)中，云端僅用于處理終端側(cè)無(wú)法充分運(yùn)行的AI任務(wù)。

據(jù)了解，目前生成式 AI 的應(yīng)用能夠在高通所推出的幾乎所有主要產(chǎn)品線中使用。舉例來(lái)說(shuō)，手機(jī)作為高度個(gè)性化的設(shè)備，能夠通過(guò)生成式 AI 成為消費(fèi)者真正意義上的數(shù)字助手，它可以接受用戶的所有需求，且甚至無(wú)需聯(lián)網(wǎng)就能夠完成任務(wù)，并完全通過(guò)大型基礎(chǔ)模型（例如文本生成文本模型 LLaMA）與用戶交流。此外，生成式 AI 能夠基于視頻會(huì)議的語(yǔ)音轉(zhuǎn)錄內(nèi)容，制定任務(wù)清單，并自動(dòng)生成完整的演示文稿直接供用戶使用，使生產(chǎn)力能夠成倍增長(zhǎng)。驍龍計(jì)算平臺(tái)擁有專(zhuān)用的硬件單元，能夠原生支持生成式 AI 在本地使用。

在 XR 方面，生成式 AI 能夠根據(jù)終端側(cè)所提供的用戶信息進(jìn)行定制和優(yōu)化，為用戶帶來(lái)完全不同的獨(dú)特虛擬世界體驗(yàn)。Ziad Asghar 表示，如果只在云端運(yùn)行，則不具備終端側(cè)的情境信息，因此利用終端能夠帶來(lái)更好的用戶體驗(yàn)。

汽車(chē)領(lǐng)域的用例也非常豐富。在座艙中使用對(duì)話式 AI，能夠幫助用戶規(guī)劃路線，在去餐廳的路上推薦用餐選項(xiàng)，或者在上班途中列出今日的工作事項(xiàng)。生成式 AI 還可以根據(jù)出發(fā)點(diǎn)和目的地信息，結(jié)合汽車(chē)的豐富傳感器數(shù)據(jù)制定不同的路線規(guī)劃，找到最佳路線。

物聯(lián)網(wǎng)領(lǐng)域，生成式 AI 能夠助力打造面向?qū)I(yè)領(lǐng)域的 GPT 類(lèi)型模型，以及幫助用戶完成不同任務(wù)的 IoT 助手。如果來(lái)到一個(gè)新的城市，生成式 AI 能夠幫助提供旅行目的地推薦。此外它還適用于其他的垂直領(lǐng)域，如醫(yī)療、零售、酒店管理等等。

隨著強(qiáng)大的生成式 AI 模型不斷縮小，以及終端側(cè)處理能力的持續(xù)提升，混合 AI 的潛力將會(huì)進(jìn)一步增長(zhǎng)。參數(shù)超過(guò) 10 億的 AI 模型已經(jīng)能夠在手機(jī)上運(yùn)行，且性能和精度達(dá)到與云端相似的水平。不久的將來(lái)，擁有 100 億或更高參數(shù)的模型將能夠在終端上運(yùn)行。

全棧 AI 優(yōu)化

Ziad Asghar 表示，目前高通已經(jīng)實(shí)現(xiàn)了全球首個(gè) Android 手機(jī)上的 Stable Diffusion 終端側(cè)演示。Stable Diffusion 是一個(gè)參數(shù)超過(guò) 10 億的超大神經(jīng)網(wǎng)絡(luò)基礎(chǔ)模型，能夠基于輸入的文本提示生成圖片。高通的這一終端側(cè)演示是在飛行模式下進(jìn)行的，通過(guò)高通的全棧 AI 優(yōu)化，這一模型能夠完全在終端側(cè)運(yùn)行，實(shí)現(xiàn)在 15 秒內(nèi)完成 20 步推理，生成飽含細(xì)節(jié)的圖像。

高通面向 Stable Diffusion 進(jìn)行了全棧 AI 優(yōu)化。2022 年 6 月，高通推出了專(zhuān)門(mén)面向邊緣側(cè) AI 的領(lǐng)先軟件棧產(chǎn)品——高通 AI 軟件棧，能夠從軟件層面進(jìn)行模型優(yōu)化。

Ziad Asghar 表示，在云端服務(wù)器上訓(xùn)練的模型一般采用 32 位浮點(diǎn)運(yùn)算（FP32），這意味著完成模型推理需要大量的處理工作。“我們希望通過(guò)整數(shù)運(yùn)算模式和量化技術(shù)進(jìn)行 AI 推理，即時(shí)獲取模型推理結(jié)果。針對(duì) Stable Diffusion，我們所采用的是 8 位整數(shù)運(yùn)算（INT8）。去年年底在第二代驍龍 8 移動(dòng)平臺(tái)上，我們已經(jīng)進(jìn)一步支持了 4 位整數(shù)運(yùn)算（INT4）能力。我們的硬件、軟件以及工具設(shè)計(jì)也都考慮了如何充分利用這一關(guān)鍵優(yōu)勢(shì)?！?/p>

目前高通能夠支持 Stable Diffusion 這一超過(guò) 10 億參數(shù)的模型在終端側(cè)運(yùn)行，但許多關(guān)鍵的生成式 AI 模型，比如文本生成圖像、自然語(yǔ)言處理、編程、圖像理解、圖像創(chuàng)作等，模型規(guī)模一般在 10 億到 100 億參數(shù)之間。Ziad Asghar 表示未來(lái)幾個(gè)月內(nèi)，高通將有望支持參數(shù)超過(guò) 100 億的模型在終端側(cè)運(yùn)行。

對(duì)話 Ziad Asghar： AI 大模型會(huì)在 C 端和 B 端同步落地

在媒體溝通會(huì)上，Ziad Asghar 接受了 InfoQ 在內(nèi)的部分媒體采訪。以下為采訪實(shí)錄，經(jīng)編輯。

問(wèn)：剛才說(shuō)到，高通在幾個(gè)月之后就可以實(shí)現(xiàn)在終端側(cè)處理參數(shù)規(guī)模達(dá) 100 億的模型，你們會(huì)用什么樣的大語(yǔ)言模型？

Ziad Asghar：我們看到目前大語(yǔ)言模型的模態(tài)非常豐富，并且已經(jīng)出現(xiàn)了多模態(tài)模型，包括文本生成圖片、文本生成文本、文本生成視頻，甚至還有圖片生成文本、圖片生成視頻等方式。這將揭開(kāi)新的序幕，開(kāi)啟許多人們未曾想象過(guò)的全新用例。我們已經(jīng)開(kāi)始面向不同場(chǎng)景和用例需求的模型展開(kāi)工作。

問(wèn)：對(duì)于文本生成文本模型，會(huì)不會(huì)考慮使用來(lái)自于 Meta 的開(kāi)源 LLaMA 模型？

Ziad Asghar：我們對(duì)模型的應(yīng)用持有非常開(kāi)放的態(tài)度。針對(duì)中國(guó)市場(chǎng)的模型，我們會(huì)專(zhuān)注于面向本地語(yǔ)言和使用場(chǎng)景的模型調(diào)優(yōu)和訓(xùn)練，以讓用戶能夠根據(jù)不同的需求，隨時(shí)隨地地使用模型。我們當(dāng)前在關(guān)注不同的開(kāi)源模型，同時(shí)我們也將與眾多的中國(guó)合作伙伴攜手，實(shí)現(xiàn)這些模型在本土市場(chǎng)的終端側(cè)部署。

問(wèn)：智能手機(jī)端側(cè)運(yùn)行生成式 AI 會(huì)成為未來(lái)的大趨勢(shì)嗎？

Ziad Asghar：我們認(rèn)為這將是一個(gè)非常值得期待的重要趨勢(shì)。所有不同的終端在生成式 AI 的助力之下，將為消費(fèi)者帶來(lái)更強(qiáng)大的吸引力。終端的可用性、娛樂(lè)性和生產(chǎn)力價(jià)值將遠(yuǎn)遠(yuǎn)超越當(dāng)前的水平。

問(wèn)：您剛剛提到的 Stable Diffusion 成功在安卓手機(jī)上運(yùn)行，不到 15 秒生成圖片，這個(gè)是完全在終端側(cè)上就能運(yùn)行嗎？我們大約什么時(shí)候能用上？以什么樣的方式用上？

Ziad Asghar：目前我們已經(jīng)能夠完全在終端側(cè)運(yùn)行 Stable Diffusion，無(wú)需連接云端，即使是將手機(jī)調(diào)到飛行模式也可以。但是目前只有采用高通技術(shù)的終端能夠?qū)崿F(xiàn)。對(duì)于具體的用例，舉例來(lái)說(shuō)，我們可以將 Stable Diffusion 的能力集成到相機(jī)應(yīng)用中，用戶在任何一個(gè)地點(diǎn)拍攝照片，再提出需求，例如將照片背景改為夕陽(yáng)之下的萬(wàn)里長(zhǎng)城，Stable Diffusion 就能夠完成這一任務(wù)。此外還有其他的用例，比如數(shù)字助手、生產(chǎn)力應(yīng)用等。我們相信通過(guò)與合作伙伴的共同努力，用戶將能在今年體驗(yàn)到這些終端側(cè)用例。

問(wèn)：高通實(shí)現(xiàn)終端側(cè)運(yùn)行 AI 大模型，在硬件、軟件層面的核心技術(shù)優(yōu)勢(shì)是什么？未來(lái)基于其他移動(dòng)芯片平臺(tái)的產(chǎn)品是否也會(huì)跟進(jìn)這一能力？

Ziad Asghar：長(zhǎng)期以來(lái)，高通致力于持續(xù)基于我們所打造的硬件、軟件和工具資源，驅(qū)動(dòng)生成式 AI 在終端側(cè)的規(guī)?；瘮U(kuò)展。首先在硬件方面，我們?cè)诩榷ü南碌奶幚砟芰︻I(lǐng)先于市場(chǎng)上的其他競(jìng)爭(zhēng)對(duì)手，這讓我們能夠在運(yùn)行生成式 AI 用例時(shí)實(shí)現(xiàn)非常出色的表現(xiàn)。憑借我們的研究投入，我們能夠在終端側(cè)利用量化技術(shù)，在處理相同用例時(shí)大幅節(jié)省功耗和算力，同時(shí)完全不影響準(zhǔn)確性，這是我們的競(jìng)爭(zhēng)對(duì)手做不到的。另外一個(gè)優(yōu)勢(shì)在軟件方面，我們提供高通 AI 引擎 Direct 以及 Qualcomm AI Studio 等軟件工具，讓這些模型能夠完全在終端側(cè)運(yùn)行。

問(wèn)：以聊天機(jī)器人對(duì)代表的生成式 AI 應(yīng)用要有好的使用體驗(yàn)，一個(gè)比較大的挑戰(zhàn)是時(shí)延，每個(gè)指令（token）的時(shí)延需要在毫秒級(jí)別，如何才能將這類(lèi)應(yīng)用部署在終端側(cè)，并且擁有不錯(cuò)的體驗(yàn)？

Ziad Asghar：我們能夠提供非常高效的 token 生成速率，完全不會(huì)因?yàn)闀r(shí)延影響到用戶的體驗(yàn)。時(shí)延對(duì)于用戶體驗(yàn)的確至關(guān)重要，而得益于我們的技術(shù)，我們的每秒 token 生成速率能夠?yàn)橛脩籼峁┝鲿车捏w驗(yàn)。

問(wèn)：高通的 AI 硬件在處理 AI 應(yīng)用時(shí)比 CPU 有明顯優(yōu)勢(shì)，接下來(lái)是否會(huì)增加 transformer 核心讓端側(cè)生成式 AI 的體驗(yàn)更好？

Ziad Asghar：高通 AI 引擎涵蓋了 CPU、GPU 以及 Hexagon 處理器，從而能夠在最合適的位置進(jìn)行 AI 處理。談到在高通 AI 硬件上進(jìn)行 AI 處理的優(yōu)勢(shì)，除了我們的硬件引擎有著非常強(qiáng)大的處理能力外，我們也在去年推出了專(zhuān)門(mén)面向 transformer 處理的領(lǐng)先技術(shù)，能夠大幅提升 transformer 處理效率。所以在硬件層面我們的技術(shù)已經(jīng)完備，能夠支持在終端側(cè)獲得大幅提升的 transformer 處理表現(xiàn)。

問(wèn)：我們注意到高通今天正式將自研 AI 技術(shù)的起步時(shí)間點(diǎn)定在了“十年前”，也就是曾經(jīng)的 Zeroth 處理器。我們想知道，當(dāng)年 Zeroth 的 SNN 網(wǎng)絡(luò)架構(gòu)在如今的驍龍移動(dòng)平臺(tái)上得到了多大程度的繼承？

Ziad Asghar：高通長(zhǎng)期專(zhuān)注于脈沖神經(jīng)網(wǎng)絡(luò)（SNN）研究，驍龍 820 平臺(tái)是我們最先應(yīng)用這一技術(shù)的產(chǎn)品。我們的大量工作也得益于這一技術(shù)研究，我們?cè)谶@一技術(shù)基礎(chǔ)之上不斷積累，覆蓋了各個(gè)領(lǐng)域，包括技術(shù)、硬件增強(qiáng)和軟件等等。我認(rèn)為這也是我們今天能夠在終端側(cè)取得如此領(lǐng)先和豐富的 AI 能力的原因之一。

問(wèn)：您認(rèn)為目前的 AI 大模型在 C 端和 B 端，哪側(cè)會(huì)更快落地？

Ziad Asghar：我認(rèn)為應(yīng)該會(huì)在 C 端和 B 端同步落地，同時(shí)高通也有能力來(lái)支持這些模型落地。無(wú)論是智能手機(jī)、VR、AR 還是汽車(chē)等面向消費(fèi)者的智能設(shè)備，亦或是企業(yè)級(jí)的搭載驍龍計(jì)算平臺(tái)的 PC、智能手機(jī)等設(shè)備。我們的產(chǎn)品和技術(shù)能夠支持面向?qū)I(yè)領(lǐng)域的 GPT 模型以及豐富的模型模態(tài)（比如文本生成圖片等），這能夠?yàn)?C 端和 B 端都帶來(lái)巨大可能性，為所有人帶來(lái)出色體驗(yàn)，無(wú)論是在家中還是在工作場(chǎng)所。甚至只要人們用手機(jī)，就可以感受到 AI 帶來(lái)的優(yōu)勢(shì)。

問(wèn)：生成式 AI 在汽車(chē)座艙、智能駕駛上的應(yīng)用進(jìn)展如何？需要調(diào)用數(shù)據(jù)量和模型形式和手機(jī)端有哪些本質(zhì)不同？邊緣側(cè)的低功耗、低時(shí)延，是結(jié)合 5G 座艙芯片或大算力芯片共同實(shí)現(xiàn)的嗎？

Ziad Asghar：第一個(gè)問(wèn)題，關(guān)于生成式 AI 賦能的數(shù)字座艙體驗(yàn)，大家可以想象一下，用戶可以體驗(yàn)到真正意義上的“和自己的車(chē)對(duì)話”。你可以告訴你的車(chē)：導(dǎo)航帶我去機(jī)場(chǎng)，但是在去機(jī)場(chǎng)的路上，我要找個(gè)地方吃個(gè)漢堡，再找個(gè)地方喝某種口味的咖啡，順便把我之前干洗的衣服取了。在數(shù)字座艙里，我們可以為用戶提供真正意義上的虛擬助手。對(duì)于汽車(chē)應(yīng)用的不同模態(tài)，其要求會(huì)更加嚴(yán)格，并且需要更高的準(zhǔn)確性。因?yàn)榕c其他商用終端不同，在汽車(chē)?yán)锍霈F(xiàn)任何一個(gè)小錯(cuò)誤都可能帶來(lái)非常嚴(yán)重的后果。所以我們?cè)诖_保提供最佳體驗(yàn)的同時(shí)，也要確保極高的準(zhǔn)確性。

第二個(gè)問(wèn)題，在汽車(chē)領(lǐng)域我們需要將多模態(tài)相結(jié)合，同時(shí)結(jié)合雷達(dá)、激光雷達(dá)、以及攝像頭等傳感器數(shù)據(jù)，從而讓我們?cè)谑褂蒙墒?AI 規(guī)劃路線時(shí)，獲得最佳的效果。

第三個(gè)問(wèn)題，汽車(chē)需要非常強(qiáng)大的處理能力。一方面，汽車(chē)領(lǐng)域的生成式 AI 用例需要非常豐富的終端側(cè)處理能力，同時(shí)，它還需要通過(guò)高速低時(shí)延的 5G 連接，在需要的情況下利用云端資源進(jìn)行處理。與我們其他產(chǎn)品線的產(chǎn)品相比，我們的汽車(chē)產(chǎn)品通常能夠提供更多的生成式 AI 處理能力。

問(wèn)：目前在 PC 以及其他平臺(tái)上，NPU 通常是一個(gè)獨(dú)立于 CPU、GPU 的計(jì)算單元。但是在驍龍移動(dòng)平臺(tái)上，CPU、GPU、DSP、ISP、甚至調(diào)制解調(diào)器都具備一定的 AI 計(jì)算能力，這就意味著驍龍平臺(tái)的 AI 計(jì)算架構(gòu)實(shí)際上是一種分布式的設(shè)計(jì)。那么這是否會(huì)加大軟件開(kāi)發(fā)的難度？或者是否會(huì)出現(xiàn)某些應(yīng)用不能完整調(diào)用全部 AI 計(jì)算單元的情況？

Ziad Asghar：我們的平臺(tái)采用的是異構(gòu)計(jì)算架構(gòu)，高通 AI 引擎包括 Hexagon 處理器、CPU、GPU 以及 ISP。我們相信 AI 是能夠賦能整個(gè)平臺(tái)的通用技術(shù)，無(wú)論是攝像頭還是圖像、調(diào)制解調(diào)器、視頻、音頻、語(yǔ)音等等都可以利用 AI 技術(shù)。同時(shí)，基于我們?cè)谲浖矫孢M(jìn)行的大量投入，無(wú)論要在終端側(cè)運(yùn)行何種應(yīng)用，高通 AI 引擎都能提供充沛、強(qiáng)大的算力。

問(wèn)：終端設(shè)備上的 AI 模型是否對(duì)用戶的個(gè)人數(shù)據(jù)進(jìn)行處理？

Ziad Asghar：針對(duì)用戶所擔(dān)心的個(gè)人隱私數(shù)據(jù)保護(hù)，終端側(cè)處理恰恰能夠解決這一問(wèn)題。正如我剛剛所講，無(wú)論是 10 億參數(shù)的模型，還是 100 億參數(shù)的模型，如果我們能夠完全在終端側(cè)來(lái)運(yùn)行，比如用戶發(fā)出一個(gè)查詢，終端接收之后能夠獨(dú)立完成推理，那么所有相關(guān)的查詢信息和數(shù)據(jù)都會(huì)留在終端上，不會(huì)離開(kāi)終端，這也是邊緣處理相對(duì)于云端處理的獨(dú)特優(yōu)勢(shì)所在，因?yàn)槿绻谠贫诉M(jìn)行查詢，那么數(shù)據(jù)就要先發(fā)送到云端，處理完再?gòu)脑贫嘶氐浇K端。