商湯大裝置加速大模型能力下沉，構(gòu)建智能計(jì)算新生態(tài)

大模型技術(shù)持續(xù)突破前沿，如何加速向產(chǎn)業(yè)“下沉”？

3月23~24日，2024全球開發(fā)者先鋒大會(huì)（GDC）在上海成功舉辦。期間，商湯科技大裝置執(zhí)行總監(jiān)成功，以及商湯科技大裝置產(chǎn)品總監(jiān)陳希受邀出席大會(huì)分論壇活動(dòng)，圍繞大模型前沿開發(fā)、智能計(jì)算創(chuàng)新等話題分享前瞻洞見，共話智能生態(tài)構(gòu)建。

以體系化基礎(chǔ)能力支撐，加速大模型向下演進(jìn)

去年以來，生成式AI取得了飛躍式的發(fā)展，并不斷從單一模態(tài)向多模態(tài)演進(jìn)。那么，還有哪些因素是大模型發(fā)展的關(guān)鍵？

在GDC 2024大模型前沿論壇上，商湯科技大裝置執(zhí)行總監(jiān)成功認(rèn)為，大模型在很多場景下已經(jīng)具備了強(qiáng)大的基礎(chǔ)能力，但在推理和規(guī)劃執(zhí)行能力方面還需要繼續(xù)突破。同時(shí)，效率和成本也是大模型發(fā)展的關(guān)鍵因素，需要以更低的成本、更快的速度觸達(dá)應(yīng)用并形成閉環(huán)。

其一是多模態(tài)融合的挑戰(zhàn)，需要有效地將更多不同模態(tài)進(jìn)行深度融合，提高模型對(duì)多模態(tài)數(shù)據(jù)的理解和處理能力。

其二是模型性能與成本平衡的挑戰(zhàn)，需要在模型小型化的同時(shí)盡可能保持原有模型性能，特別是滿足個(gè)人場景下端側(cè)模型、端云協(xié)同的應(yīng)用需求。

此外，隨著大模型尺度的提升和訓(xùn)練數(shù)據(jù)的增加，行業(yè)還需要一套高效的大規(guī)?；A(chǔ)設(shè)施，以提供包括高質(zhì)量的數(shù)據(jù)管線、全面的評(píng)價(jià)體系、完善的工具鏈等體系化的底層支撐。

成功表示，SenseCore 商湯大裝置沉淀了整套大模型基礎(chǔ)設(shè)施能力，不僅可服務(wù)于眾多企業(yè)和科研院所的開發(fā)者，很快也會(huì)向個(gè)人開發(fā)者全面開放。

在AI基礎(chǔ)設(shè)施之上，SenseCore 商湯大裝置將推出全新升級(jí)的大模型服務(wù)平臺(tái)和開發(fā)者工具，并向社區(qū)免費(fèi)提供千萬級(jí)算力補(bǔ)貼、萬億token大模型調(diào)用資源。 商湯希望通過大裝置激發(fā)整個(gè)社區(qū)的力量，攜手更多開發(fā)者共同探索大模型能力前沿，拓展技術(shù)邊界。

高效率、低成本智算基礎(chǔ)設(shè)施

賦能AI生產(chǎn)新范式

大模型時(shí)代，計(jì)算量、模型參數(shù)和數(shù)據(jù)集規(guī)模都在快速增長從而不斷推升模型的“智能”水平，其背后遵循的就是尺度定律。同時(shí)，隨著AI在各行各業(yè)的落地向深水區(qū)挺進(jìn)，人工智能基礎(chǔ)設(shè)施化已成為必然趨勢(shì)。

在GDC 2024曙光智能計(jì)算開發(fā)者講壇上，商湯科技大裝置產(chǎn)品總監(jiān)陳希分享了依托SenseCore商湯大裝置，商湯科技在智能計(jì)算領(lǐng)域的探索和實(shí)踐。

第一，加速國產(chǎn)算力布局。通過與眾多國產(chǎn)算力廠商合作，商湯與上下游產(chǎn)業(yè)伙伴共同推動(dòng)國產(chǎn)生態(tài)建設(shè)，完成多款芯片與框架適配，落地1500P國產(chǎn)算力集群，積極推進(jìn)芯片評(píng)價(jià)標(biāo)準(zhǔn)和體系的完善，加速整個(gè)國產(chǎn)算力商業(yè)化進(jìn)程。

第二，持續(xù)探索尺度定律邊界。隨著大模型的參數(shù)量朝向萬億以上級(jí)別激增，穩(wěn)定、高效的超大規(guī)模算力調(diào)度和訓(xùn)推引擎成為核心基石。 SenseCore 商湯大裝置擁有萬卡規(guī)模異構(gòu)算力池，可滿足萬億參數(shù)大模型訓(xùn)推需求，實(shí)現(xiàn)分鐘級(jí)容錯(cuò)以達(dá)成30天以上大規(guī)模長時(shí)間訓(xùn)練不間斷。 另外在推理側(cè)，自研推理引擎在大語言、多模態(tài)模型性能表現(xiàn)提升2倍；通過訓(xùn)練、微調(diào)、推理混部，資源利用率提升40%，為用戶提供極致性價(jià)比服務(wù)。

第三，建設(shè)面向開發(fā)者友好的AI基礎(chǔ)設(shè)施。面對(duì)愈發(fā)高頻次、高效率的模型迭代需求，SenseCore商湯大裝置擁有領(lǐng)先的AI 原生云算力產(chǎn)品體系，為客戶打造0門檻，一站式的極致開發(fā)體驗(yàn)，縮短大模型開發(fā)周期。

根據(jù)國際知名調(diào)研機(jī)構(gòu)弗若斯特沙利文（Frost & Sullivan）聯(lián)合頭豹研究院發(fā)布的《2023年中國AI開發(fā)平臺(tái)市場報(bào)告》，商湯大裝置成為AI開發(fā)平臺(tái)領(lǐng)軍者，市場綜合競爭表現(xiàn)國內(nèi)第一，全球位居第二，僅次于亞馬遜云。 以人工智能大模型開發(fā)、生產(chǎn)、應(yīng)用為核心，商湯致力于通過高效率、低成本、規(guī)模化的下一代的人工智能基礎(chǔ)設(shè)施與服務(wù)，深化AI算力生態(tài)建設(shè)，助力發(fā)展數(shù)字經(jīng)濟(jì)產(chǎn)業(yè)全生態(tài)。

審核編輯：劉清