去年年底開(kāi)始和chatGPT聊天,生成測(cè)試用例、自動(dòng)化腳本、代碼等,這兩天我用bing生成自己想要的海報(bào),這比較直觀地呈現(xiàn)了人工智能(AI)所發(fā)生的變化。
要全面了解AI發(fā)生的具體變化,值得好好閱讀由Nathan Benaich等人完成的這份報(bào)告。
因?yàn)檫@么多內(nèi)容,無(wú)法詳細(xì)解讀,自己根據(jù)需要,選擇性地閱讀相關(guān)內(nèi)容。該報(bào)告的總結(jié),給出了一些有價(jià)值的結(jié)論,供大家參考。
1. 研究(research)
1)GPT-4目前是無(wú)所不知的大師,無(wú)論是在經(jīng)典基準(zhǔn)測(cè)試還是在評(píng)估人類的考試中擊敗了所有其他LLM,驗(yàn)證了專有架構(gòu)和通過(guò)人類反饋進(jìn)行強(qiáng)化學(xué)習(xí)的強(qiáng)大力量。
2)人們開(kāi)始努力用更小的模型、更好的數(shù)據(jù)集、更長(zhǎng)的上下文來(lái)克隆或超越專有模型的性能。..由LLaMa-1/2提供支持,在人類生成的數(shù)據(jù)可能只能維持人工智能擴(kuò)展趨勢(shì)幾年之后,這些努力可能變得更加緊迫。
3)目前尚不清楚人工生成的數(shù)據(jù)能夠支撐AI擴(kuò)展趨勢(shì)的時(shí)間有多長(zhǎng)(一些人估計(jì)到2025年LLMs將用盡數(shù)據(jù)),以及添加合成數(shù)據(jù)的影響。企業(yè)中的視頻和數(shù)據(jù)可能是下一個(gè)問(wèn)題。
4)LLMs和擴(kuò)散模型繼續(xù)推動(dòng)現(xiàn)實(shí)世界的突破,尤其是在生命科學(xué)領(lǐng)域,在分子生物學(xué)和藥物發(fā)現(xiàn)方面取得了有意義的進(jìn)展。
5)多模態(tài)成為新的前沿,對(duì)各種類型的代理人的興奮度大大增加。
6)被引用的AI論文的70%作者來(lái)自美國(guó)大學(xué)、研究機(jī)構(gòu)。
2. 行業(yè)(industry)
1)計(jì)算力是新的石油,NVIDIA憑借其GPU在國(guó)家、初創(chuàng)企業(yè)、大型科技公司和研究人員中的巨大需求,成功進(jìn)入了1萬(wàn)億美元市值俱樂(lè)部。
2)出口管制限制了向中國(guó)的先進(jìn)芯片銷售,但主要芯片供應(yīng)商N(yùn)VIDIA、英特爾和AMD推出了無(wú)法受到出口管制限制的替代產(chǎn)品,開(kāi)始大規(guī)模銷售符合出口管制的芯片
3)在科技估值低迷的情況下,GenAI挽救了風(fēng)險(xiǎn)投資界。在ChatGPT的帶領(lǐng)下,GenAI應(yīng)用在圖像、視頻、編碼、語(yǔ)音等方面取得了突破性進(jìn)展,推動(dòng)了180億美元的風(fēng)險(xiǎn)投資和企業(yè)投資。
3. 政治(politics)
1)全球已經(jīng)分為明確的監(jiān)管陣營(yíng),但全球治理進(jìn)展較慢。最大的AI實(shí)驗(yàn)室正在填補(bǔ)這一空白。
2)芯片戰(zhàn)爭(zhēng)仍在繼續(xù),美國(guó)正在動(dòng)員其盟友參與芯片戰(zhàn)爭(zhēng),加強(qiáng)對(duì)中國(guó)的貿(mào)易限制。
3)預(yù)計(jì)AI將影響選舉和就業(yè)等一系列敏感領(lǐng)域,但我們尚未看到明顯的影響。
4. 安全性(Safety)
1)安全辯論已經(jīng)成為主流,引發(fā)了全球政府和監(jiān)管機(jī)構(gòu)的行動(dòng)。然而,這股活動(dòng)的浪潮掩蓋了人工智能社區(qū)內(nèi)的深刻分歧和全球治理方面的實(shí)質(zhì)性進(jìn)展不足,因?yàn)槭澜绺鲊?guó)政府追求著相互沖突的方法。
2)許多高性能模型很容易被“越獄”。為了解決RLHF挑戰(zhàn),研究人員正在探索替代方案,例如自我對(duì)齊和基于人類偏好的預(yù)訓(xùn)練。
3)在評(píng)估最先進(jìn)模型的過(guò)程中面臨的挑戰(zhàn)日益增加,標(biāo)準(zhǔn)LLM往往難以保持穩(wěn)健性。隨著能力的提升,評(píng)估SOTA模型變得越來(lái)越困難。僅憑直覺(jué)是不夠的。
5. 并附上大家關(guān)心的幾個(gè)領(lǐng)域
1)代碼語(yǔ)言模型的現(xiàn)狀
在編碼能力方面,毫不意外的是GPT-4是領(lǐng)先者,其代碼解釋器、高級(jí)數(shù)據(jù)分析功能令用戶驚嘆不已。像WizardLM的WizardCoder-34B和Unnatural CodeLLaMa這樣的開(kāi)放替代品在編碼基準(zhǔn)測(cè)試中與ChatGPT持平,但它們?cè)趯?shí)際生產(chǎn)中的性能仍有待確定。
Unnatural CodeLLaMa和WizardCoder都不僅在大型預(yù)訓(xùn)練編碼數(shù)據(jù)集上進(jìn)行訓(xùn)練,還使用了適用于代碼數(shù)據(jù)的額外LM生成的指令微調(diào)技術(shù)。Meta使用了他們的Unnatural Instructions,而WizardLM使用了他們的EvolInstruct。值得注意的是,CodeLLaMa的訓(xùn)練方式使模型能夠進(jìn)行補(bǔ)充填充,并且所有的CodeLLaMa模型都已發(fā)布,除了Unnatural CodeLLaMa。
在代碼完成任務(wù)中的性能表現(xiàn)。它們對(duì)邊緣推理的支持(例如,在Apple Silicon上的ggml)較小的代碼語(yǔ)言模型(包括replit-code-v1-3b和StarCoder 3B)既具有低延遲又具有良好的代碼完成能力,這促使了對(duì)隱私意識(shí)的替代品的開(kāi)發(fā),以應(yīng)對(duì)GitHub Copilot。
2)機(jī)器人:從視覺(jué)-語(yǔ)言模型到低層次的機(jī)器人控制
From vision-language models to low-level robot control: RT-2、RoboCat
RoboCat是一個(gè)用于機(jī)器人操作的基礎(chǔ)代理,可以在零樣本或少樣本(100-1000個(gè)示例)情況下適應(yīng)新任務(wù)和新機(jī)器人。在各種平臺(tái)上表現(xiàn)出令人印象深刻的實(shí)時(shí)性能。它是基于DeepMind的多模態(tài)、多任務(wù)和多體現(xiàn)Gato構(gòu)建的。它使用了在各種視覺(jué)和控制數(shù)據(jù)集上訓(xùn)練、凍結(jié)VQ-GAN分詞器。雖然Gato只預(yù)測(cè)動(dòng)作,但RoboCat還額外預(yù)測(cè)未來(lái)的VQ-GAN標(biāo)記。
在策略學(xué)習(xí)方面,論文只提到了行為克隆。RoboCat通過(guò)少量示范(通過(guò)遠(yuǎn)程操作)進(jìn)行微調(diào),并重新部署以生成給定任務(wù)的新數(shù)據(jù),在后續(xù)訓(xùn)練迭代中自我改進(jìn)。
RobotCat可以以令人印象深刻的速度(20Hz)在253個(gè)任務(wù)上操作36個(gè)具有不同動(dòng)作規(guī)范的真實(shí)機(jī)器人,涉及134個(gè)真實(shí)物體。
機(jī)器人在競(jìng)技體育中已經(jīng)取得勝利。Swift是一個(gè)自主系統(tǒng),可以使用僅依靠機(jī)載傳感器和計(jì)算,在與人類世界冠軍的比賽中駕駛四旋翼無(wú)人機(jī)。它在與三位冠軍的比賽中贏得了幾場(chǎng)比賽,并創(chuàng)下了最快的時(shí)間紀(jì)錄。
3)今天AIGC有太多的生成方式
6. 未來(lái)一年十大預(yù)測(cè)
一部好萊塢級(jí)的制作利用AIGC完成其視覺(jué)效果。
一家AIGC媒體公司因在2024年美國(guó)選舉期間的濫用行為而受到調(diào)查。
自我進(jìn)化的AI代理在復(fù)雜環(huán)境中會(huì)擊敗最先進(jìn)技術(shù)(例如AAA游戲、工具使用、科學(xué))。
科技IPO市場(chǎng)解凍,我們將看到至少有一家以AI為重點(diǎn)的公司(例如Databricks)進(jìn)行重大上市。
GenAI的擴(kuò)展熱潮導(dǎo)致一組人花費(fèi)超過(guò)10億美元來(lái)訓(xùn)練一個(gè)大模型。
美國(guó)的聯(lián)邦貿(mào)易委員會(huì)(FTC)或英國(guó)的競(jìng)爭(zhēng)與市場(chǎng)管理局(CMA)因競(jìng)爭(zhēng)原因調(diào)查微軟/OpenAI的交易。
在全球AI治理方面,除了高層次的自愿承諾外,我們看到的進(jìn)展有限。
金融機(jī)構(gòu)推出GPU債務(wù)基金,以取代風(fēng)險(xiǎn)投資股權(quán)資金用于計(jì)算資金。
一首由AIGC生成的歌曲進(jìn)入Billboard Hot 100 前十名或2024年Spotify熱門歌曲榜。
隨著推理工作負(fù)載和成本的顯著增長(zhǎng),一家大型AI公司(如OpenAI)收購(gòu)了一家專注于推理的AI芯片公司。
-
人工智能
+關(guān)注
關(guān)注
1789文章
46652瀏覽量
237085 -
數(shù)據(jù)集
+關(guān)注
關(guān)注
4文章
1200瀏覽量
24619 -
ChatGPT
+關(guān)注
關(guān)注
29文章
1546瀏覽量
7359
原文標(biāo)題:2023年人工智能狀態(tài)報(bào)告(附完整報(bào)告下載)
文章出處:【微信號(hào):軟件質(zhì)量報(bào)道,微信公眾號(hào):軟件質(zhì)量報(bào)道】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論