0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

國內(nèi)科學(xué)家團(tuán)隊(duì)發(fā)布超大規(guī)模AI預(yù)訓(xùn)練模型

工程師鄧生 ? 來源: 愛集微APP ? 作者: 愛集微APP ? 2021-03-21 10:09 ? 次閱讀

據(jù)消息,北京智源人工智能研究院發(fā)布四個超大規(guī)模人工智能預(yù)訓(xùn)練模型,統(tǒng)稱為“悟道1.0”,涵蓋中文語言、多模態(tài)、認(rèn)知、蛋白質(zhì)預(yù)測四個領(lǐng)域,是幫助國內(nèi)企業(yè)、機(jī)構(gòu)開發(fā)人工智能應(yīng)用的大型基礎(chǔ)設(shè)施。

“悟道1.0”由智源研究院學(xué)術(shù)副院長、清華大學(xué)唐杰教授領(lǐng)銜,帶領(lǐng)來自北京大學(xué)、清華大學(xué)、中國人民大學(xué)、中國科學(xué)院等單位的100余位AI科學(xué)家團(tuán)隊(duì)聯(lián)合攻關(guān),同時(shí)與快手、搜狗、360、阿里、新華社等龍頭企業(yè)共同研發(fā)工業(yè)級示范性應(yīng)用。

智源研究院院長黃鐵軍教授介紹,近幾年這輪人工智能浪潮的基本特點(diǎn)是“數(shù)據(jù)+算力+算法=模型”,模型濃縮了訓(xùn)練數(shù)據(jù)的內(nèi)部規(guī)律,是實(shí)現(xiàn)人工智能應(yīng)用的載體。近年來人工智能的發(fā)展,已經(jīng)從“大煉模型”逐步邁向了“煉大模型”的階段,通過設(shè)計(jì)先進(jìn)的算法,整合盡可能多的數(shù)據(jù),匯聚大量算力,集約化地訓(xùn)練大模型,供大量企業(yè)使用,是必然趨勢。

智源研究院2020年10月啟動“悟道”項(xiàng)目,研發(fā)規(guī)模大(主要體現(xiàn)為參數(shù)量)、智商高、具備類人認(rèn)知能力、統(tǒng)一對多模態(tài)數(shù)據(jù)的理解和建模、滿足各種應(yīng)用需要的預(yù)訓(xùn)練模型,特別是注重中文語料的采集和訓(xùn)練。

責(zé)任編輯:lq6

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 搜狗
    +關(guān)注

    關(guān)注

    0

    文章

    90

    瀏覽量

    13909
  • 人工智能
    +關(guān)注

    關(guān)注

    1789

    文章

    46652

    瀏覽量

    237079
收藏 人收藏

    評論

    相關(guān)推薦

    AI模型訓(xùn)練數(shù)據(jù)來源分析

    學(xué)術(shù)機(jī)構(gòu)、政府組織或企業(yè)公開發(fā)布,涵蓋了各種類型的數(shù)據(jù),如圖像、文本、音頻、視頻等。例如: ImageNet :一個廣泛用于圖像識別任務(wù)的大規(guī)模圖像數(shù)據(jù)集。 Common Crawl :提供了大量的網(wǎng)頁抓取數(shù)據(jù)以供自然語言處理模型
    的頭像 發(fā)表于 10-23 15:32 ?313次閱讀

    AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》第4章-AI與生命科學(xué)讀后感

    了傳統(tǒng)學(xué)科界限,使得科學(xué)家們能夠從更加全面和深入的角度理解生命的奧秘。同時(shí),AI技術(shù)的引入也催生了一種全新的科學(xué)研究范式,即數(shù)據(jù)驅(qū)動的研究范式,這種范式強(qiáng)調(diào)從大量數(shù)據(jù)中提取有價(jià)值的信息,從而推動
    發(fā)表于 10-14 09:21

    AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》第二章AI for Science的技術(shù)支撐學(xué)習(xí)心得

    和數(shù)量直接影響到模型的準(zhǔn)確性和可靠性。因此,數(shù)據(jù)獲取、處理、分析和質(zhì)量控制在AI for Science中至關(guān)重要。此外,數(shù)據(jù)驅(qū)動的研究范式也促使科學(xué)家從傳統(tǒng)的假設(shè)驅(qū)動轉(zhuǎn)向更加靈活和開放的研究方法
    發(fā)表于 10-14 09:16

    Zettabyte與緯創(chuàng)攜手打造臺灣首個超大規(guī)模AI數(shù)據(jù)中心

    在推動亞太地區(qū)AI計(jì)算領(lǐng)域邁向新紀(jì)元的征程中,Zettabyte與緯創(chuàng)資通(Wistron Corporation)攜手宣布了一項(xiàng)重大合作——共同建設(shè)臺灣地區(qū)首個超大規(guī)模AI數(shù)據(jù)中心,這一里程碑式的項(xiàng)目不僅標(biāo)志著臺灣
    的頭像 發(fā)表于 09-05 16:26 ?319次閱讀

    谷歌正在考慮在越南建設(shè)超大規(guī)模數(shù)據(jù)中心

    據(jù)可靠消息透露,Alphabet集團(tuán)旗下的谷歌公司正積極籌劃在越南南部的經(jīng)濟(jì)樞紐胡志明市周邊建設(shè)一座“超大規(guī)模”數(shù)據(jù)中心。此舉標(biāo)志著美國科技巨頭首次在東南亞國家進(jìn)行此類重大投資,盡管具體的投資金額尚待揭曉。
    的頭像 發(fā)表于 08-30 14:55 ?563次閱讀

    SAS 24G+規(guī)范發(fā)布,為超大規(guī)模數(shù)據(jù)中心HDD和SSD

    最新發(fā)布的SAS 24G+規(guī)范中得到了有力證明。該規(guī)范由SNIA SCSI貿(mào)易協(xié)會論壇(STA)與INCITS/SCSI標(biāo)準(zhǔn)組織攜手推出,專為下一代超大規(guī)模數(shù)據(jù)中心中的機(jī)械硬盤(HDD)與固態(tài)硬盤(SSD)量身打造。
    的頭像 發(fā)表于 07-25 15:13 ?692次閱讀

    大語言模型預(yù)訓(xùn)練

    能力,逐漸成為NLP領(lǐng)域的研究熱點(diǎn)。大語言模型預(yù)訓(xùn)練是這一技術(shù)發(fā)展的關(guān)鍵步驟,它通過在海量無標(biāo)簽數(shù)據(jù)上進(jìn)行訓(xùn)練,使模型學(xué)習(xí)到語言的通用知識
    的頭像 發(fā)表于 07-11 10:11 ?365次閱讀

    燧原科技與清程極智攜手共創(chuàng)AI未來:共筑超大規(guī)模智算集群新篇章

    協(xié)議,雙方將攜手步入全新的合作階段,共同探索并開發(fā)面向超萬億參數(shù)大模型超大規(guī)模集群的高性能系統(tǒng)軟件方案,標(biāo)志著雙方在推動AI技術(shù)邊界、加速產(chǎn)業(yè)智能化進(jìn)程上邁出了堅(jiān)實(shí)的一步。
    的頭像 發(fā)表于 07-05 14:50 ?660次閱讀

    預(yù)訓(xùn)練模型的基本原理和應(yīng)用

    預(yù)訓(xùn)練模型(Pre-trained Model)是深度學(xué)習(xí)和機(jī)器學(xué)習(xí)領(lǐng)域中的一個重要概念,尤其是在自然語言處理(NLP)和計(jì)算機(jī)視覺(CV)等領(lǐng)域中得到了廣泛應(yīng)用。預(yù)
    的頭像 發(fā)表于 07-03 18:20 ?2120次閱讀

    【大語言模型:原理與工程實(shí)踐】大語言模型預(yù)訓(xùn)練

    增長。DeepMind在相關(guān)論文中指出,模型大小和訓(xùn)練Token數(shù)應(yīng)以相似速率增長,以確保最佳性能。因此,構(gòu)建與模型規(guī)模相匹配的預(yù)
    發(fā)表于 05-07 17:10

    名單公布!【書籍評測活動NO.30】大規(guī)模語言模型:從理論到實(shí)踐

    等多種形式和任務(wù)。這個階段是從語言模型向?qū)υ?b class='flag-5'>模型轉(zhuǎn)變的關(guān)鍵,其核心難點(diǎn)在于如何構(gòu)建訓(xùn)練數(shù)據(jù),包括訓(xùn)練數(shù)據(jù)內(nèi)部多個任務(wù)之間的關(guān)系、訓(xùn)練數(shù)據(jù)與
    發(fā)表于 03-11 15:16

    超大規(guī)模數(shù)據(jù)中心采用三星FDP SSD降低存儲成本

    主機(jī)數(shù)據(jù)放置技術(shù)一直是超大規(guī)模數(shù)據(jù)中心關(guān)注的話題,因?yàn)樗绊懰渴鸬腟SD的總體擁有成本(TCO)。
    的頭像 發(fā)表于 03-07 15:39 ?1696次閱讀
    <b class='flag-5'>超大規(guī)模</b>數(shù)據(jù)中心采用三星FDP SSD降低存儲成本

    晶晟微納發(fā)布N800超大規(guī)模AI算力芯片測試探針卡

    近日,上海韜盛科技旗下的蘇州晶晟微納宣布推出其最新研發(fā)的N800超大規(guī)模AI算力芯片測試探針卡。這款高性能探針卡采用了前沿的嵌入式合金納米堆疊技術(shù),旨在滿足當(dāng)前超大規(guī)模AI算力芯片的高
    的頭像 發(fā)表于 03-04 13:59 ?870次閱讀

    中國電信規(guī)劃在上海建設(shè)首個國產(chǎn)超大規(guī)模算力液冷集群

    中國電信規(guī)劃建設(shè)首個國產(chǎn)超大規(guī)模算力液冷集群 人工智能技術(shù)的快速發(fā)展催生了巨大的算力需求;中國電信規(guī)劃在上海規(guī)劃建設(shè)可支持萬億參數(shù)大模型訓(xùn)練的智算集群中心。其中會搭載液冷技術(shù),單池新建國產(chǎn)算力達(dá)10000卡,也是首個支持單池萬卡
    的頭像 發(fā)表于 02-22 18:48 ?1289次閱讀

    6G超大規(guī)模多天線的技術(shù)演進(jìn)歷程

    從3G到5G時(shí)代,天線規(guī)模發(fā)生了顯著的變化,5G超大規(guī)模天線技術(shù)具有許多優(yōu)勢,但面向6G的極致性能要求還需持續(xù)演進(jìn)
    發(fā)表于 11-21 09:19 ?767次閱讀
    6G<b class='flag-5'>超大規(guī)模</b>多天線的技術(shù)演進(jìn)歷程