字節(jié)跳動(dòng)參與的海外研究成果入選Nature子刊

近日，Nature子刊Nature Neuroscience接收了一項(xiàng)由字節(jié)跳動(dòng)海外技術(shù)團(tuán)隊(duì)與新加坡國立大學(xué)等機(jī)構(gòu)合作的研究成果。Nature Neuroscience是神經(jīng)生物學(xué)領(lǐng)域最頂級(jí)的刊物之一。

這項(xiàng)研究成果首次將AI元學(xué)習(xí)引入到神經(jīng)科學(xué)及醫(yī)療領(lǐng)域，在臨床應(yīng)用方面具有巨大潛能。

字節(jié)跳動(dòng)參與的研究成果入選了Nature子刊

這里的“元學(xué)習(xí)”，是指在沒有任何人為干預(yù)的場景下，機(jī)器能自發(fā)適應(yīng)環(huán)境并且進(jìn)化，學(xué)會(huì)處理遇到的新任務(wù)。

而“神經(jīng)科學(xué)”，用通俗的話來說，則是一種“腦科學(xué)”。腦成像技術(shù)是其中一個(gè)重要領(lǐng)域。它能夠直接觀察大腦在信息處理、應(yīng)對(duì)刺激時(shí)的神經(jīng)化學(xué)變化，為疾病診斷和治療提供重要參照。

腦磁共振成像

理論上，基于腦成像的機(jī)器學(xué)習(xí)模型，可以預(yù)測(cè)個(gè)人意識(shí)、情緒等可觀測(cè)特征，這種特征就叫做表型。

訓(xùn)練這些模型，往往需要大規(guī)模的數(shù)據(jù)。雖然現(xiàn)在已經(jīng)有英國生物銀行（UK Biobank）等大規(guī)模人類神經(jīng)科學(xué)數(shù)據(jù)集，但是在研究臨床人群或解決重點(diǎn)神經(jīng)科學(xué)的問題時(shí)，小規(guī)模數(shù)據(jù)樣本依舊是常態(tài)。

在數(shù)據(jù)量有限的情況下，科學(xué)家很難訓(xùn)練出一個(gè)可靠的機(jī)器學(xué)習(xí)模型來預(yù)測(cè)個(gè)人的表型，這一狀況制約了個(gè)人精準(zhǔn)醫(yī)療。

字節(jié)跳動(dòng)技術(shù)團(tuán)隊(duì)發(fā)現(xiàn)，小數(shù)據(jù)集當(dāng)中的某些獨(dú)特表型，可能與大規(guī)模數(shù)據(jù)集當(dāng)中的某些預(yù)先存在的特定表型相關(guān)?；谶@種相關(guān)性，團(tuán)隊(duì)提出名為元匹配（meta-matching）的方法。

這一方法可以將在大規(guī)模腦成像數(shù)據(jù)集上所訓(xùn)練的機(jī)器學(xué)習(xí)模型，遷移到一個(gè)小規(guī)模數(shù)據(jù)集上，從而訓(xùn)練出更可靠的模型，以更準(zhǔn)確地預(yù)測(cè)新的表型。

新方法在英國生物銀行（UK Biobank）和人類連接組計(jì)劃（Human Connectome Project）的數(shù)據(jù)集上進(jìn)行了測(cè)評(píng)。

HCP數(shù)據(jù)集上的表型示例

結(jié)果顯示，新方法在這兩個(gè)數(shù)據(jù)集的評(píng)估中顯示出了有效性，且準(zhǔn)確率顯著超過經(jīng)典的KRR方法。

在BioBank測(cè)試集上性能超過經(jīng)典的KRR

在HCP小規(guī)模新數(shù)據(jù)集上顯著超過KRR

這項(xiàng)研究由字節(jié)跳動(dòng)智創(chuàng)基礎(chǔ)研究團(tuán)隊(duì)參與完成。

字節(jié)跳動(dòng)技術(shù)團(tuán)隊(duì)在從計(jì)算機(jī)視覺到自然語言處理，再到機(jī)器人等前沿探索的多個(gè)領(lǐng)域，均有持續(xù)投入。

2021年7月，字節(jié)跳動(dòng)技術(shù)團(tuán)隊(duì)研發(fā)出了針對(duì)手機(jī)端720p/1080p 35fps以內(nèi)視頻的超低功耗超分辨率算法，為數(shù)億用戶帶來高清畫質(zhì)播放體驗(yàn)。

2021年8月，字節(jié)跳動(dòng)AI Lab的機(jī)器翻譯技術(shù)論文當(dāng)選國際頂級(jí)學(xué)術(shù)會(huì)議ACL 2021年度“最佳論文”。這是ACL成立59年以來，中國科學(xué)家團(tuán)隊(duì)第二次贏得最高獎(jiǎng)項(xiàng)。

2021年11月，字節(jié)跳動(dòng)、約翰霍普金斯大學(xué)等機(jī)構(gòu)組成的聯(lián)合團(tuán)隊(duì)提出iBOT。iBOT是一種視覺大模型無監(jiān)督預(yù)訓(xùn)練方法，適用于計(jì)算機(jī)視覺領(lǐng)域，在十幾類任務(wù)和數(shù)據(jù)集上，均達(dá)到了業(yè)界當(dāng)前最高水平。

技術(shù)推陳出新，字節(jié)跳動(dòng)不止。