在IBM最新的論文中,研究人員提出了一種能自主制作多樣化、創(chuàng)造性和符合人類語境的圖片文字說明的模型。實(shí)驗(yàn)證明,圖片的文字說明取得了“良好”的性能,未來可以為強(qiáng)大的新計(jì)算機(jī)視覺系統(tǒng)奠定了基礎(chǔ)。
無論是報(bào)社、雜志社還是新媒體,編輯們最不愿意干得事情就是為圖片搭配文字說明。事實(shí)上這項(xiàng)工作必要且重要但實(shí)際操作上又非??菰?。
不過,一個(gè)振奮人心的消息是,AI可能很快就能處理大部分工作。6月18日在加州長(zhǎng)灘舉行的2019年計(jì)算機(jī)視覺和模式識(shí)別會(huì)議(CVPR)上,Pierre L. Dognin, Igor Melnyk, Youssef Mroueh, Jarret Ross, Tom Sercu發(fā)表了一篇論文《改進(jìn)圖像說明的對(duì)抗性語義對(duì)齊》,提出了一種能夠自主制作多樣化、創(chuàng)造性和符合人類語境的圖片文字說明的模型。
在論文中,他們將圖像說明作為一種有條件的GAN(生成式對(duì)抗網(wǎng)絡(luò))訓(xùn)練進(jìn)行研究,提出了一種上下文感知的LSTM字幕器和共同注意鑒別器,它們加強(qiáng)了圖像和字幕之間的語義對(duì)齊。
研究人員根據(jù)經(jīng)驗(yàn)著重研究了SCST和ST兩種訓(xùn)練方法的可行性。他們發(fā)現(xiàn)即使沒有直接訪問鑒別器梯度,SCST也比ST顯示出更穩(wěn)定的梯度行為和更好的結(jié)果。進(jìn)而還解決了對(duì)這些模型進(jìn)行自動(dòng)評(píng)估的開放性問題,引入了一個(gè)新的語義評(píng)分,并證明了它與人類判斷的強(qiáng)相關(guān)性。
作為評(píng)估范例,一個(gè)重要的標(biāo)準(zhǔn)是生成器能夠概括出平常不會(huì)一起出現(xiàn)的對(duì)象之間的組合關(guān)系。為此研究人員引入了一個(gè)小標(biāo)題能脫離上下文(OOC)測(cè)試集。OOC與常規(guī)語義評(píng)分相結(jié)合,為圖片搭配說明文字得體系提出了新基準(zhǔn)。當(dāng)面向OOC和MS-COCO進(jìn)行測(cè)試時(shí),可以發(fā)現(xiàn)基于SCST的訓(xùn)練在語義評(píng)分和人類評(píng)估方面都有很強(qiáng)的表現(xiàn),有望成為高效離散GAN訓(xùn)練的一種有價(jià)值的新方法。
目前,構(gòu)建系統(tǒng)需要解決自動(dòng)說明文字系統(tǒng)的一個(gè)主要缺點(diǎn):順序語言生成導(dǎo)致語法正確—但同質(zhì)、非自然和語義不相關(guān)的結(jié)構(gòu)。
研究者的方法是通過一個(gè)注意力文字說明模型來解決這個(gè)問題,模型使用它正在觀察的照片中的場(chǎng)景片段來造句。在每一個(gè)生成步驟中,團(tuán)隊(duì)的AI都可以選擇關(guān)注最后一步的視覺或文本提示。
為了確保生成的文字說明聽起來不太機(jī)械化,研究團(tuán)隊(duì)在訓(xùn)練時(shí)使用了生成對(duì)抗網(wǎng)絡(luò)(GANs)——由生成樣本的生成器和試圖區(qū)分生成樣本和現(xiàn)實(shí)世界樣本的鑒別器組成的兩部分神經(jīng)網(wǎng)絡(luò)。共同注意鑒別器通過一個(gè)在像素級(jí)匹配場(chǎng)景和生成單詞的模型對(duì)新句子的“自然度”進(jìn)行評(píng)分,使文字說明者能夠通過圖像和句子成對(duì)來進(jìn)行合成。
文字說明系統(tǒng)中的另一個(gè)常見問題是,如何避免訓(xùn)練數(shù)據(jù)集的偏差,即經(jīng)常遭受過度擬合(特定數(shù)據(jù)集過于接近的分析)就需要構(gòu)建診斷工具,否則并不適合推廣到學(xué)習(xí)對(duì)象(“床和臥室”)出現(xiàn)在看不見的環(huán)境(“床和森林”)中的場(chǎng)景。為此,研究人員提出了一種標(biāo)題圖像的測(cè)試語料庫,其設(shè)計(jì)方式使得不良模型性能表明過度擬合。
在實(shí)驗(yàn)中,Amazon's Mechanical Turk評(píng)估人員負(fù)責(zé)識(shí)別AI模型生成的文字說明,并判斷每句話對(duì)相應(yīng)圖像的描述程度,給出幾個(gè)真實(shí)的和合成的樣本,研究人員表示,他們的文字說明總體上取得了“良好”的性能。他們相信他們的工作為強(qiáng)大的新計(jì)算機(jī)視覺系統(tǒng)奠定了基礎(chǔ),并打算在未來的工作中繼續(xù)探索這些系統(tǒng)。另外,銜接語言和視覺語義的鴻溝表明需要將常識(shí)和推理融入場(chǎng)景理解中。
未來,圖像文字說明的自動(dòng)生成和場(chǎng)景理解的進(jìn)步,使AI系統(tǒng)可以作為視覺障礙者的助理改善他們的日常生活。
-
IBM
+關(guān)注
關(guān)注
3文章
1730瀏覽量
74487 -
AI
+關(guān)注
關(guān)注
87文章
29011瀏覽量
266399
原文標(biāo)題:IBM發(fā)布最新AI模型,幫視障者“看”到更多
文章出處:【微信號(hào):Aiobservation,微信公眾號(hào):人工智能觀察】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論