電子發(fā)燒友App
NVIDIA 率先采用加速計(jì)算應(yīng)對(duì)原本無(wú)法解決的挑戰(zhàn)。在 AI 和計(jì)算機(jī)圖形領(lǐng)域，我們的研究成果正在改變總價(jià)值達(dá) 100 萬(wàn)億美元的各行各業(yè)（包括游戲、醫(yī)療健康和交通運(yùn)輸），并對(duì)社會(huì)產(chǎn)生了深遠(yuǎn)的影響。
我們正在應(yīng)對(duì)世界上最大的挑戰(zhàn)?—— 從氣候變化到醫(yī)療健康行業(yè)，再到自動(dòng)駕駛汽車。 ?
斯坦福大學(xué)領(lǐng)導(dǎo)團(tuán)隊(duì)在短短 5 小時(shí)內(nèi)對(duì)整個(gè)人類基因組進(jìn)行了測(cè)序，創(chuàng)下了世界紀(jì)錄。
斯坦福大學(xué)研究人員與 NVIDIA 還有其他相關(guān)公司及組織共同創(chuàng)造了世界紀(jì)錄。
NVIDIA 醫(yī)療健康業(yè)務(wù)副總裁 Kimberly Powell 在頒獎(jiǎng)活動(dòng)上表示：“我們一致認(rèn)為這項(xiàng)成就是必將載入史冊(cè)的奇跡，會(huì)激發(fā)數(shù)字生物學(xué)領(lǐng)域未來(lái)五年，甚至十年的創(chuàng)新，而基因組學(xué)將位于最前沿?！?/p>
5小時(shí)！斯坦福大學(xué)研究人員創(chuàng)造DNA測(cè)序技術(shù)吉尼斯世界紀(jì)錄
GPT-3 的突破性成果正大大加快自然語(yǔ)言理解的飛速發(fā)展。
OpenAI 研究人員2022年發(fā)布了研究報(bào)告描述 GPT-3 ，一個(gè)由 1750 億個(gè)參數(shù)組成的最先進(jìn)的語(yǔ)言模型。
相比之下，以前的版本 GPT-2 由 15 億個(gè)參數(shù)組成。微軟本月早些時(shí)候發(fā)布了最大的基于 Transformer 的語(yǔ)言模型，該模型由 170 億個(gè)參數(shù)組成。
“ GPT-3 在許多自然語(yǔ)言處理數(shù)據(jù)集上取得了很好的性能，包括翻譯、問(wèn)答和完形填空任務(wù)，以及一些需要?jiǎng)討B(tài)推理或領(lǐng)域調(diào)整的任務(wù)，如解譯單詞、在句子中使用新單詞或執(zhí)行 3 位數(shù)算術(shù)，”研究人員在其研究報(bào)告中表示?紙張?“我們發(fā)現(xiàn)， GPT-3 可以生成新聞文章樣本，人類評(píng)估人員難以將其與人類撰寫的文章區(qū)分開來(lái)?！?/p>
自然語(yǔ)言處理任務(wù)從生成新聞文章、語(yǔ)言翻譯到回答標(biāo)準(zhǔn)化測(cè)試問(wèn)題。
該組織表示：“每個(gè)模型的精確架構(gòu)參數(shù)是基于計(jì)算效率和 GPU 模型布局中的負(fù)載平衡來(lái)選擇的?！?規(guī)定的?“所有模型都接受過(guò)訓(xùn)練 NVIDIA V100 GPU 作為 Microsoft 提供的高帶寬集群的一部分?！?/p>
OpenAI 在 cuDNN 加速的 PyTorch 深度學(xué)習(xí)框架上訓(xùn)練他們所有的 AI 模型。
2022年，微軟和 OpenAI 宣布了一款專為該組織設(shè)計(jì)的新的 GPU 加速超級(jí)計(jì)算機(jī)。
“為 OpenAI 開發(fā)的超級(jí)計(jì)算機(jī)是一個(gè)單一系統(tǒng)，每個(gè) GPU 服務(wù)器擁有超過(guò) 285000 個(gè) GPU 核、 10000 個(gè) GPU 和每秒 400 千兆位的網(wǎng)絡(luò)連接，”這些公司在?博客?里的一份聲明中表示?.
在性能方面，新的 GPT-3 模型在 SuperGLUE 基準(zhǔn)上取得了接近最先進(jìn)的結(jié)果，去年引入該基準(zhǔn)測(cè)試推理和其他高級(jí) NLP 任務(wù)。在包括 COPA 和 ReCoRD 在內(nèi)的其他基準(zhǔn)測(cè)試中，該模型與上下文分析（ WIC ）和一組中學(xué)和高中考試題 RACE 相比都有不足。
該組織說(shuō)：“盡管存在許多局限性和弱點(diǎn)，但這些結(jié)果表明，非常大的語(yǔ)言模型可能是開發(fā)適應(yīng)性強(qiáng)的通用語(yǔ)言系統(tǒng)的一個(gè)重要因素?！?。
工商網(wǎng)監(jiān)
評(píng)論