模型當(dāng)?shù)?開(kāi)源聚力｜2023開(kāi)放原子全球開(kāi)源峰會(huì)開(kāi)源大模型分論壇圓滿收官

6 月 13 日，2023 開(kāi)放原子全球開(kāi)源峰會(huì)開(kāi)源大模型分論壇圓滿舉行。本場(chǎng)論壇匯聚了中國(guó)大模型領(lǐng)域的專(zhuān)家，包括工業(yè)界和學(xué)術(shù)界的主流玩家，共同探討大模型的最新技術(shù)和應(yīng)用，為業(yè)內(nèi)人士提供時(shí)新的技術(shù)資訊、深入的技術(shù)解析和實(shí)用的應(yīng)用指南。開(kāi)放原子開(kāi)源基金會(huì) TOC、上海市人工智能行業(yè)協(xié)會(huì)、哈工大(深圳)計(jì)算機(jī)學(xué)院、清華大學(xué)、百度、阿里、華為、騰訊、深圳數(shù)據(jù)交易所、第四范式等單位嘉賓分享前沿觀點(diǎn)。

孫文龍?jiān)谥罗o中表示，隨著開(kāi)源成為構(gòu)建技術(shù)生態(tài)圈最有效的路徑之一，以開(kāi)源開(kāi)放的形式推動(dòng)大模型發(fā)展，有利于匯聚全球智慧，建設(shè)一個(gè)有生命力，能夠持續(xù)迭代更新的技術(shù)生態(tài)，通過(guò)開(kāi)源大模型體系各企業(yè)都可以共享數(shù)據(jù)，共擔(dān)算力，共建算法。當(dāng)前，基金會(huì)也正在籌建大模型工作委員會(huì)，旨在依托基金會(huì)開(kāi)源公益平臺(tái)，組織社會(huì)各界力量聚焦上下游伙伴，以開(kāi)源開(kāi)放合作方式，提供數(shù)據(jù)算力和算法的公益服務(wù)，加速大模型的行業(yè)應(yīng)用落地，推動(dòng)大模型開(kāi)源生態(tài)的發(fā)展。

譚中意從宏觀視角介紹了開(kāi)源大模型的重要性。他認(rèn)為大模型濃縮了全世界的知識(shí)，將徹底改變知識(shí)的產(chǎn)生、傳播和發(fā)展。大模型需要通過(guò)開(kāi)源協(xié)作的方式持續(xù)推動(dòng)生態(tài)健康、持續(xù)進(jìn)化。目標(biāo)是打造下一代數(shù)字經(jīng)濟(jì)核心基礎(chǔ)設(shè)施，其關(guān)鍵是合規(guī)地使用開(kāi)源數(shù)據(jù)集和開(kāi)源訓(xùn)練程序，并通過(guò)國(guó)產(chǎn)算力訓(xùn)練生成開(kāi)源通用大模型。建議從開(kāi)源數(shù)據(jù)集、開(kāi)源的數(shù)據(jù)集合規(guī)清洗程序，以及提供模型和數(shù)據(jù)存儲(chǔ)和分發(fā)功能的平臺(tái)做起。目前基金會(huì) TOC 已經(jīng)成立開(kāi)源大模型 SIG（Special Interest Group，類(lèi)似工作組），基金會(huì)也開(kāi)始籌建大模型工委會(huì)，歡迎各界同仁參與。

徐琦闡釋了大模型的機(jī)遇和挑戰(zhàn)。他認(rèn)為大模型的分布式訓(xùn)練考驗(yàn)的是算法、數(shù)據(jù)、框架、資源調(diào)度等全棧和全流程的綜合能力，呼吁國(guó)內(nèi)大模型要做中國(guó)特色的開(kāi)源，百花齊放、百舸爭(zhēng)流。

聶禮強(qiáng)介紹了多模態(tài)大模型的發(fā)展歷程、研究現(xiàn)狀、并展示了自主研發(fā)的多模態(tài)對(duì)話系統(tǒng)——九天。

東昱曉介紹了從千億模型 GLM-130B 到 ChatGLM 的開(kāi)源嘗試，并展示了對(duì)模型的訓(xùn)練情況以及在技術(shù)迭代上所做的努力。

張軍介紹了產(chǎn)業(yè)級(jí)深度學(xué)習(xí)開(kāi)源開(kāi)放平臺(tái)飛槳的大模型訓(xùn)練能力，并介紹了百度對(duì)深度學(xué)習(xí)分布式訓(xùn)練技術(shù)突破的開(kāi)創(chuàng)性貢獻(xiàn)。

林俊旸介紹了阿里大模型通義千問(wèn)的模型能力，其中包括自然語(yǔ)言和多模態(tài)的理解和生成能力，并介紹了相關(guān)開(kāi)源工作。此外，他還談到了通義千問(wèn)和魔搭社區(qū)的結(jié)合，未來(lái)基礎(chǔ)大語(yǔ)言模型和外部各類(lèi)開(kāi)源模型的結(jié)合將會(huì)打造出更加通用的 AI 系統(tǒng)。

金小賢分享了 MindSpore 近幾年在 AI 超大模型相關(guān)的實(shí)踐。他從當(dāng)前大模型的發(fā)展和面臨的挑戰(zhàn)入手，重點(diǎn)介紹了 MindSpore 的技術(shù)實(shí)踐和在大模型中的實(shí)踐。

李寶嘉介紹了騰訊自研的星脈高性能算力網(wǎng)絡(luò)利用自研交換機(jī)構(gòu)建了超大規(guī)模網(wǎng)絡(luò)架構(gòu)，實(shí)現(xiàn)了 90%的網(wǎng)絡(luò)負(fù)載以及 2K 規(guī)模集群下 16%的有效算力提升。并分享了全棧運(yùn)營(yíng)系統(tǒng)如何有效減少網(wǎng)絡(luò)原因所導(dǎo)致的業(yè)務(wù)訓(xùn)練中斷問(wèn)題，以保證 GPU 集群的高可靠性和高可用性。

王騰認(rèn)為我國(guó)數(shù)據(jù)要素市場(chǎng)處于培育期，發(fā)展迅速，但數(shù)據(jù)孤島現(xiàn)象仍然存在。開(kāi)源生態(tài)鼓勵(lì)數(shù)據(jù)共享和開(kāi)放性，鼓勵(lì)用戶(hù)和開(kāi)發(fā)者之間的合作與創(chuàng)新。在大模型領(lǐng)域，深圳數(shù)據(jù)交易所愿意成為開(kāi)源大模型訓(xùn)練數(shù)據(jù)集供給的交通樞紐，同時(shí)借助深圳數(shù)據(jù)交易所數(shù)據(jù)交易合規(guī)師 DEXCO 社群解決開(kāi)源大模型訓(xùn)練數(shù)據(jù)集合規(guī)處理問(wèn)題。此外，他還介紹了開(kāi)放群島開(kāi)源社區(qū)的發(fā)展情況及開(kāi)放群島隱私計(jì)算 FATE 框架，旨在保護(hù)數(shù)據(jù)隱私。

來(lái)自第四范式的資深系統(tǒng)架構(gòu)師盧冕介紹大模型訓(xùn)練和服務(wù)背后的底層國(guó)產(chǎn)算力要求，還包括如 GPU 虛擬化方案、異構(gòu)計(jì)算技術(shù)等等。

本場(chǎng)論壇充分探討大語(yǔ)言模型的最新技術(shù)和應(yīng)用，帶領(lǐng)觀眾們領(lǐng)略國(guó)內(nèi)各大名企大模型的實(shí)踐情況并解析大模型下的國(guó)產(chǎn)算力調(diào)度，打造了一場(chǎng)干貨滿滿的“技術(shù)盛宴”，為開(kāi)源大模型的未來(lái)指出了更為明晰的方向。

審核編輯黃宇