據(jù)消息,北京智源人工智能研究院發(fā)布四個超大規(guī)模人工智能預(yù)訓(xùn)練模型,統(tǒng)稱為“悟道1.0”,涵蓋中文語言、多模態(tài)、認(rèn)知、蛋白質(zhì)預(yù)測四個領(lǐng)域,是幫助國內(nèi)企業(yè)、機(jī)構(gòu)開發(fā)人工智能應(yīng)用的大型基礎(chǔ)設(shè)施。
“悟道1.0”由智源研究院學(xué)術(shù)副院長、清華大學(xué)唐杰教授領(lǐng)銜,帶領(lǐng)來自北京大學(xué)、清華大學(xué)、中國人民大學(xué)、中國科學(xué)院等單位的100余位AI科學(xué)家團(tuán)隊(duì)聯(lián)合攻關(guān),同時(shí)與快手、搜狗、360、阿里、新華社等龍頭企業(yè)共同研發(fā)工業(yè)級示范性應(yīng)用。
智源研究院院長黃鐵軍教授介紹,近幾年這輪人工智能浪潮的基本特點(diǎn)是“數(shù)據(jù)+算力+算法=模型”,模型濃縮了訓(xùn)練數(shù)據(jù)的內(nèi)部規(guī)律,是實(shí)現(xiàn)人工智能應(yīng)用的載體。近年來人工智能的發(fā)展,已經(jīng)從“大煉模型”逐步邁向了“煉大模型”的階段,通過設(shè)計(jì)先進(jìn)的算法,整合盡可能多的數(shù)據(jù),匯聚大量算力,集約化地訓(xùn)練大模型,供大量企業(yè)使用,是必然趨勢。
智源研究院2020年10月啟動“悟道”項(xiàng)目,研發(fā)規(guī)模大(主要體現(xiàn)為參數(shù)量)、智商高、具備類人認(rèn)知能力、統(tǒng)一對多模態(tài)數(shù)據(jù)的理解和建模、滿足各種應(yīng)用需要的預(yù)訓(xùn)練模型,特別是注重中文語料的采集和訓(xùn)練。
責(zé)任編輯:lq6
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。
舉報(bào)投訴
相關(guān)推薦
學(xué)術(shù)機(jī)構(gòu)、政府組織或企業(yè)公開發(fā)布,涵蓋了各種類型的數(shù)據(jù),如圖像、文本、音頻、視頻等。例如: ImageNet :一個廣泛用于圖像識別任務(wù)的大規(guī)模圖像數(shù)據(jù)集。 Common Crawl :提供了大量的網(wǎng)頁抓取數(shù)據(jù)以供自然語言處理模型
發(fā)表于 10-23 15:32
?313次閱讀
了傳統(tǒng)學(xué)科界限,使得科學(xué)家們能夠從更加全面和深入的角度理解生命的奧秘。同時(shí),AI技術(shù)的引入也催生了一種全新的科學(xué)研究范式,即數(shù)據(jù)驅(qū)動的研究范式,這種范式強(qiáng)調(diào)從大量數(shù)據(jù)中提取有價(jià)值的信息,從而推動
發(fā)表于 10-14 09:21
和數(shù)量直接影響到模型的準(zhǔn)確性和可靠性。因此,數(shù)據(jù)獲取、處理、分析和質(zhì)量控制在AI for Science中至關(guān)重要。此外,數(shù)據(jù)驅(qū)動的研究范式也促使科學(xué)家從傳統(tǒng)的假設(shè)驅(qū)動轉(zhuǎn)向更加靈活和開放的研究方法
發(fā)表于 10-14 09:16
在推動亞太地區(qū)AI計(jì)算領(lǐng)域邁向新紀(jì)元的征程中,Zettabyte與緯創(chuàng)資通(Wistron Corporation)攜手宣布了一項(xiàng)重大合作——共同建設(shè)臺灣地區(qū)首個超大規(guī)模AI數(shù)據(jù)中心,這一里程碑式的項(xiàng)目不僅標(biāo)志著臺灣
發(fā)表于 09-05 16:26
?319次閱讀
據(jù)可靠消息透露,Alphabet集團(tuán)旗下的谷歌公司正積極籌劃在越南南部的經(jīng)濟(jì)樞紐胡志明市周邊建設(shè)一座“超大規(guī)模”數(shù)據(jù)中心。此舉標(biāo)志著美國科技巨頭首次在東南亞國家進(jìn)行此類重大投資,盡管具體的投資金額尚待揭曉。
發(fā)表于 08-30 14:55
?563次閱讀
最新發(fā)布的SAS 24G+規(guī)范中得到了有力證明。該規(guī)范由SNIA SCSI貿(mào)易協(xié)會論壇(STA)與INCITS/SCSI標(biāo)準(zhǔn)組織攜手推出,專為下一代超大規(guī)模數(shù)據(jù)中心中的機(jī)械硬盤(HDD)與固態(tài)硬盤(SSD)量身打造。
發(fā)表于 07-25 15:13
?692次閱讀
能力,逐漸成為NLP領(lǐng)域的研究熱點(diǎn)。大語言模型的預(yù)訓(xùn)練是這一技術(shù)發(fā)展的關(guān)鍵步驟,它通過在海量無標(biāo)簽數(shù)據(jù)上進(jìn)行訓(xùn)練,使模型學(xué)習(xí)到語言的通用知識
發(fā)表于 07-11 10:11
?365次閱讀
協(xié)議,雙方將攜手步入全新的合作階段,共同探索并開發(fā)面向超萬億參數(shù)大模型和超大規(guī)模集群的高性能系統(tǒng)軟件方案,標(biāo)志著雙方在推動AI技術(shù)邊界、加速產(chǎn)業(yè)智能化進(jìn)程上邁出了堅(jiān)實(shí)的一步。
發(fā)表于 07-05 14:50
?660次閱讀
預(yù)訓(xùn)練模型(Pre-trained Model)是深度學(xué)習(xí)和機(jī)器學(xué)習(xí)領(lǐng)域中的一個重要概念,尤其是在自然語言處理(NLP)和計(jì)算機(jī)視覺(CV)等領(lǐng)域中得到了廣泛應(yīng)用。預(yù)
發(fā)表于 07-03 18:20
?2120次閱讀
增長。DeepMind在相關(guān)論文中指出,模型大小和訓(xùn)練Token數(shù)應(yīng)以相似速率增長,以確保最佳性能。因此,構(gòu)建與模型規(guī)模相匹配的預(yù)
發(fā)表于 05-07 17:10
等多種形式和任務(wù)。這個階段是從語言模型向?qū)υ?b class='flag-5'>模型轉(zhuǎn)變的關(guān)鍵,其核心難點(diǎn)在于如何構(gòu)建訓(xùn)練數(shù)據(jù),包括訓(xùn)練數(shù)據(jù)內(nèi)部多個任務(wù)之間的關(guān)系、訓(xùn)練數(shù)據(jù)與
發(fā)表于 03-11 15:16
主機(jī)數(shù)據(jù)放置技術(shù)一直是超大規(guī)模數(shù)據(jù)中心關(guān)注的話題,因?yàn)樗绊懰渴鸬腟SD的總體擁有成本(TCO)。
發(fā)表于 03-07 15:39
?1696次閱讀
近日,上海韜盛科技旗下的蘇州晶晟微納宣布推出其最新研發(fā)的N800超大規(guī)模AI算力芯片測試探針卡。這款高性能探針卡采用了前沿的嵌入式合金納米堆疊技術(shù),旨在滿足當(dāng)前超大規(guī)模AI算力芯片的高
發(fā)表于 03-04 13:59
?870次閱讀
中國電信規(guī)劃建設(shè)首個國產(chǎn)超大規(guī)模算力液冷集群 人工智能技術(shù)的快速發(fā)展催生了巨大的算力需求;中國電信規(guī)劃在上海規(guī)劃建設(shè)可支持萬億參數(shù)大模型訓(xùn)練的智算集群中心。其中會搭載液冷技術(shù),單池新建國產(chǎn)算力達(dá)10000卡,也是首個支持單池萬卡
發(fā)表于 02-22 18:48
?1289次閱讀
從3G到5G時(shí)代,天線規(guī)模發(fā)生了顯著的變化,5G超大規(guī)模天線技術(shù)具有許多優(yōu)勢,但面向6G的極致性能要求還需持續(xù)演進(jìn)
發(fā)表于 11-21 09:19
?767次閱讀
評論