2024 OPPO開發(fā)者大會召開，以技術為基石共建AI智能體新生態(tài)

AI技術正在賦能千行百業(yè)實現(xiàn)新質發(fā)展,AI巡檢、智能客服、智能運維都在各行業(yè)發(fā)揮著高效服務力。而與用戶聯(lián)結最緊密的手機產(chǎn)品,也正在因AI、大模型引發(fā)終端交互革命,跨越功能機、智能機進入AI手機時代。

在這場關乎行業(yè)、用戶的變革中,OPPO作為AI手機的貢獻與普及者之一,于10月17日的OPPO開發(fā)者大會(簡稱ODC)AI智能體生態(tài)分論壇上,以「探索AI技術實踐 共建新生態(tài)」為主題,邀約了眾多產(chǎn)業(yè)專家、技術專家、行業(yè)開發(fā)者等一起就智能體生態(tài)的建設、成功實踐展開了積極分享與討論。

以AI為主引擎,手機進入以場景為驅動的變革時代

手機作為覆蓋用戶最廣泛、與用戶交互最為緊密、使用時長占比較長的產(chǎn)品,早已從最初的通信工具轉變?yōu)槁?lián)結更多場景的用戶身邊的貼身助手。與此同時,在AI、大模型穩(wěn)步發(fā)展的當下,除了各行業(yè)在業(yè)務端融合AI能力實現(xiàn)提質增效外,立足生活所需輻射多場景的手機,無疑也成了AI與用戶溝通的最短路徑。

從生活場景可知,現(xiàn)今,個人時間正在伴隨繁雜的瑣事、工作細節(jié)處理等等逐漸碎片化,生活越來越匆忙,個人時間被侵占已成為用戶共識。通過AI技術解放精力與創(chuàng)造力,是AI與手機結合后,最迎合用戶所需的能力。具備算力高效利用能力、真實世界感知能力、自學習能力、創(chuàng)作能力的AI手機,正契合了當下用戶從碎片、繁雜中解放,回歸自我價值的剛需。

支持生成式AI的智能終端硬件平臺,具備多模態(tài)融合的全新交互和內(nèi)嵌的專屬智能體的隨心、專屬智慧OS,用戶定義的開放服務生態(tài),都是AI手機重塑產(chǎn)品效能的主要特征。對用戶而言,AI手機要扮演的是自在交互、智能隨心、專屬陪伴、安全可信的個人化助理的角色。在這一具體要求下,只有AI手機具備不斷理解用戶習慣、不斷自學習、構建直覺化交互的能力,才能為用戶真正提供更聰明、個性化、貼心的服務。

結合AI手機的價值點和用戶所需,各終端智能廠商協(xié)同一致,共建行業(yè)標準,構建零門檻開發(fā)平臺,將用戶需求與技術相互轉化,為繁榮服務生態(tài)牽引好AI主引擎。

持續(xù)探索技術天花板,為AI時代手機智能化提質增效

經(jīng)歷多年發(fā)展和技術迭代,OPPO率先入局AI手機,梳理出了一套從硬件到交互再到業(yè)務的系統(tǒng)性實踐能力。在今年的分論壇中,基于OPPO大語言模型、視覺大模型端側部署能力,OPPO主要發(fā)力端側輕量化部署,將端側大模型朝著更快,功耗更低,占用資源更少,適用場景更多的方向演進。

在大語言模型迭代方面,OPPO提出了高效推理、內(nèi)存管理、異構計算、加速等多種新方案。OPPO產(chǎn)品總監(jiān)那柏林現(xiàn)場分享了通過多IP聯(lián)合推理范式,OPPO大語言模型推理過程所需參數(shù)可按照活躍度分為活躍參數(shù)和不活躍參數(shù)兩部分分批處理。高效的推理范式則專注模型初始化,為模型encoding進行加速處理,保證用戶獲得數(shù)據(jù)準確的同時,提高“首字上屏”時間。

OPPO 產(chǎn)品總監(jiān) 那柏林

在語言大模型內(nèi)存管理上,OPPO也通過功耗降低,保障用戶使用不卡頓。在模型響應速度上,OPPO則針對于不同場景基于并行譯碼技術提出了多種并行加速方案。而基于異構計算方案,大模型推理速度進一步提升,計算資源更節(jié)約。在大模型多適性上,OPPO則通過share方式,節(jié)省不必要的計算量和內(nèi)容占用。

在視覺大模型層面,OPPO通過自定義算子可有效提升算子推理時間,達到出圖速度提升和計算功耗降低。在端側部署過程中,OPPO通過block quantization的方式讓量化的顆粒度更細,讓推理精度更靠近云端也更快,最大程度的保證效果且不失速度。而基于LoRA的使用和不同的組合,也能讓視覺大模型節(jié)省80%以上內(nèi)存占用,擁有更快的反應速度,促使用戶使用體驗更迅捷。

會上,OPPO AI 基座模型負責人蘇鈿煌還詳細解讀了安第斯大模型Agent技術在planning、端云模型部署以及function call的能力。

OPPO AI 基座模型負責人 蘇鈿煌

具體而言,安第斯大模型Agent技術可通過規(guī)則路由+大小模型逐級處理,并且結合大模型的反思來修正小模型的不確定拆解;在端云協(xié)同上,該技術可通過端側1+N Lora的架構來支持簡單的任務拆解,而云端多種參數(shù)規(guī)模模型則用以支持復雜的任務編排;同時,該技術支持一方、三方應用,支持API等多種工具,通過多層級來拓展工具和 API 的層級關系,提升了模型對工具的理解,而基于手機系統(tǒng)上一方和三方的工具API完善多樣性后,也能提升工具的泛化性和模型對工具的理解力。基于安第斯大模型Agent技術,大語言模型可更高效理解用戶意圖,更快檢索并反饋用戶需求,在語義理解,上下文連貫,專業(yè)性回復上更具效率。

在OPPO手機上的AI應用中,視覺文字信息提取技術作為一項基礎能力被廣泛應用于手機相冊、小布識屏、小布掃一掃、自由翻譯、便簽等入口,賦能相關圖片轉文檔、拍照翻譯、圖片文字提取等業(yè)務場景。

為解決視覺文字提取數(shù)據(jù)標注成本高、領域模型多、鏈路復雜、推理時間長、易出現(xiàn)丟字、幻覺、Box定位差等問題,OPPO從算法鏈路層、模型優(yōu)化層、數(shù)據(jù)引擎層、文本RAG對應優(yōu)化和改進策略,為用戶帶來了識別精準、高效提取的視覺文字信息提取新體驗。OPPO AI 視覺模型優(yōu)化負責人馮天鵬在分享中表示“隨著VLM不斷演進,視覺文字信息提取技術后續(xù)可在高精度手寫體識別、手寫體公式提取、復雜圖表解析、以及圖文自動關聯(lián)等業(yè)務中發(fā)揮重要作用?！?/p>

OPPO AI視覺模型優(yōu)化負責人 馮天鵬

回歸產(chǎn)品、回歸用戶,讓技術迭代有跡可循

豐富全面的技術終究要回到產(chǎn)品上,產(chǎn)品落地后是否能滿足用戶體驗提升是衡量技術是否成熟的關鍵標準。作為OPPO覆蓋手機、手表、平板等多種品類和系列設備的全局智能助理,小布助手在AI技術實踐層面取得亮眼成績——自2019年發(fā)布至今,小布助手已擁有3.5億用戶覆蓋,月活用戶達1.5億。

在大模型時代下,小布已憑借OPPO的技術支撐獲得了更強大的語言理解和圖像生成能力。這其中既包含了OPPO大語言模型的能力,也結合了OPPO視覺大模型的優(yōu)勢。

在系統(tǒng)操控層面,小布可對復雜Query理解,并完成高效指令生成和編排。在通用問答上,流暢上下文對話知識增強的大模型技術使流暢的上下文對話和知識問答效果得到大幅度提升。在相對封閉的品牌問答領域,小布依托大模型強大的理解和遵循能力,獲得了更專注的能力。同時,大模型序列生成天然擅長做內(nèi)容創(chuàng)作,新小布也因此具備了文本、圖像等多模態(tài)的生成能力。為保障創(chuàng)作內(nèi)容無害,OPPO也秉承對社會和用戶負責的態(tài)度,在內(nèi)容安全方面做了大量對齊和過濾。

為進一步提升小布的服務能力,OPPO在規(guī)劃、工具、知識、記憶、多智能體交互基礎上,針對大量級API工具指令生產(chǎn)任務、實時性和時效性的幻覺問題、多模態(tài)下的復雜鏈路調(diào)優(yōu)三大挑戰(zhàn),搭建了最適應小布架構演進的對話系統(tǒng)架構。

在高效支持千級別API的接入層面,小布可依靠單指令、多指令、嵌套指令支持用戶的復雜說法。

在解決實時性和時效性的幻覺問題方面,小布采取高時效高精度的RAG和混合大模型調(diào)度的方式,分別對應垂域實現(xiàn)知識覆蓋和通用場景解決長尾事實性和時效性。依托小布在流量調(diào)度上的精細化控制,在解決問題的同時也能兼顧成本ROI。

近期,小布發(fā)布的多模態(tài)能力下,技術團隊采用多信源融合理解和決策,建立全面的感知表征信息,對多模態(tài)多信源做深度理解,并進行混合建模交叉驗證的規(guī)劃,最終優(yōu)化多模態(tài)能力響應速度更快。而通過理解和交互的并行化、圖像多級壓縮、多步指令緩存等手段,小布也實現(xiàn)了復雜鏈路全鏈路耗時優(yōu)化,為用戶帶來了更為順暢高效的交互體驗。

無論是詢問、執(zhí)行還是長尾溝通甚至是為用戶畫圖、修片,一系列高效、精準的服務和體驗,已讓小布真正成為了用戶身邊隨叫隨到的AI助手。OPPO小布助手服務平臺負責人莫驍分享到,“未來,基于記憶和個性化,復雜任務規(guī)劃,端云協(xié)同優(yōu)勢,小布也將錨定為用戶個人設備帶來更懂我、更智能、更快捷的體驗技術方向持續(xù)迭代?！?/p>

OPPO 小布助手服務平臺負責人 莫驍

持續(xù)深挖AI價值,以智能體生態(tài)帶動行業(yè)繁榮

誠然,AI正在基于大模型等技術能力不斷更迭,但AI的價值并未被完全挖掘,同時更存在著數(shù)據(jù)偏差、幻覺、多模態(tài)的局限性等問題,也缺少使其高效運轉、高效交互、完成復雜任務的運行框架?；诖?OPPO提出了基于LLM,能夠自主感知環(huán)境、做出決策并執(zhí)行行動的系統(tǒng)智能體框架。

智能體將圍繞交互性、反應性、自主性、適應性,實現(xiàn)接收外界信息并給出及時合理的反應,且具備代理和有約束性的自主決策能力,可根據(jù)過程和結果不斷優(yōu)化策略提升效果的能力。手機,作為可承載各種物理感知能力和多模態(tài)能力并擁有一定算力的產(chǎn)品,也成為了智能體發(fā)展的沃土。

為推動智能體生態(tài)快速發(fā)展,OPPO在本次ODC上發(fā)布了OPPO智能體平臺,OPPO智能體平臺研發(fā)負責人張磊在分論壇上對該平臺做了詳細介紹。通過提供大模型應用開發(fā)能力以及豐富的工具庫、插件庫,為開發(fā)者適配多種業(yè)務場景,而可視化拖拽開發(fā),也降低了應用開發(fā)門檻,讓更多用戶和開發(fā)者都能參與到智能體匯聚眾智的過程中來。

OPPO 智能體平臺研發(fā)負責人 張磊

針對智能體在手機上的分發(fā)能力,OPPO給出了應用場景的能力增強和問題解決方案,可在例如桌面、負一屏等OS系統(tǒng)級入口進行智能體推薦。通過小布亦可進行智能體專區(qū)、上下文精準推薦、啟動時推薦等高效分發(fā);在軟件商店、瀏覽器等互聯(lián)網(wǎng)全場景入口也能高效觸達用戶。最終實現(xiàn)優(yōu)質的智能體和有需求的用戶彼此發(fā)現(xiàn),讓服務和需求雙向對接。

目前,OPPO智能體平臺已完成整體建設,智能體已涵蓋生活、娛樂、醫(yī)療、健康以及生產(chǎn)制造多個領域,通過開放接口與各領域業(yè)務實現(xiàn)了深度融合。開發(fā)平臺基于OPPO云的彈性算力,實現(xiàn)了智能體模型開發(fā)調(diào)試、服務、數(shù)據(jù)的彈性支撐?；谫Y源層、開發(fā)層、應用層以及智能體運營層,平臺對開發(fā)者開放了簡潔的智能體全鏈路托管。通過對開發(fā)者提供創(chuàng)建智能體所需的快速構建、快速集成、插件工具和個性化定制能力,為開發(fā)者從開發(fā)到運營再到分發(fā)的全程護航。

【結語】

在圓桌論壇上,OPPO技術戰(zhàn)略規(guī)劃總監(jiān)陳曉春組織來自阿里云智能、百度、火山引擎以及網(wǎng)易有道的專家們,就AI手機發(fā)展以及智能體生態(tài)建設展開了積極討論。在深挖AI能力的過程中,無論是為用戶構建更合理、可信、可靠的服務,還是基于千行百業(yè)塑造更加專注的智能體生態(tài),其本身依舊是圍繞“人”的需求進行的。在以人為本的服務理念中,更懂用戶、更自然的交互,更順暢絲滑的體驗,是倒逼技術發(fā)展的剛需,而對于OPPO以及更多廠商而言,持續(xù)深挖AI能力,以AI為核心拓展更智能的生態(tài)體系,不僅是為AI與手機融合塑造了更具象化的目標,也是手機廠商依托自身用戶基數(shù)優(yōu)勢放大在AI時代長久競爭力的良策。