利用來自于Quick Draw游戲的數(shù)百萬涂鴉訓(xùn)練該神經(jīng)網(wǎng)絡(luò)

Try the sketch-rnn demo

對(duì)于通過蜂窩數(shù)據(jù)連接網(wǎng)絡(luò)的移動(dòng)用戶：第一個(gè)演示大小約為 5 MB 數(shù)據(jù)。每次在演示中更改模型時(shí)，您將使用另外 5 MB 的數(shù)據(jù)。

我們進(jìn)行了一個(gè)交互式網(wǎng)絡(luò)實(shí)驗(yàn)，讓你能與一個(gè)名為 sketch-rnn 的循環(huán)神經(jīng)網(wǎng)絡(luò)模型一起繪制作品。我們利用來自于 Quick Draw！ 游戲的數(shù)百萬涂鴉訓(xùn)練該神經(jīng)網(wǎng)絡(luò)。一旦開始繪制對(duì)象，sketch-rnn 將提出許多可行的方法基于你中斷的位置繼續(xù)繪制此對(duì)象。試試第一個(gè)演示。

在上面的演示中，我們被提示開始繪制特定對(duì)象。一旦你停止涂鴉，神經(jīng)網(wǎng)絡(luò)將接管并試圖猜測(cè)涂鴉的其余部分。你可以再次接管繪圖并繼續(xù)從中斷處開始。我們訓(xùn)練了大約 100 種可以用于試驗(yàn)的模型，并且一些模型在多種類別上進(jìn)行了訓(xùn)練。

其他 sketch-rnn 演示

下面的演示最好在桌面瀏覽器上體驗(yàn)，而不是在移動(dòng)設(shè)備上體驗(yàn)。

多預(yù)測(cè)

多預(yù)測(cè)演示

該演示類似于第一個(gè)預(yù)測(cè)繪圖其余部分的演示。在此版本中，您將在左側(cè)區(qū)域內(nèi)繪制草圖的開頭，模型將在右側(cè)較小的框內(nèi)預(yù)測(cè)圖形的其余部分。這樣，您可以看到模型預(yù)測(cè)的各種不同結(jié)局。預(yù)測(cè)的結(jié)局有時(shí)會(huì)讓人感到期待，有時(shí)會(huì)出乎意料和奇怪，而且有時(shí)也可能是丑陋和完全錯(cuò)誤的。

你還可以選擇不同的類別，使模型基于相同的不完整的起始草圖繪制不同的對(duì)象，或者使模型繪制方形貓或圓形卡車等內(nèi)容。你可以隨時(shí)中斷模型并繼續(xù)在左側(cè)區(qū)域內(nèi)繪制圖形，并讓模型不斷預(yù)測(cè)你離開的位置。

插值

插值演示

除了預(yù)測(cè)不完整繪圖的其余部分外，sketch-rnn 還可以從一個(gè)繪圖變換到另一個(gè)繪圖。在 Interpolation Demo 中，可以使用屏幕兩側(cè)的按鈕隨機(jī)生成兩個(gè)圖像。點(diǎn)擊 Interpolate 按鈕，模型將提出新的草圖，作為兩個(gè)原始草圖之間的插值。在上圖中，模型在自行車和瑜伽位置之間進(jìn)行插值。嘗試使用插值演示在兩個(gè)隨機(jī)生成的圖像之間進(jìn)行變換。

變分自動(dòng)編碼器

變分自動(dòng)編碼器演示

該模型還可以模擬你的繪圖并生成類似的涂鴉。在變分自動(dòng)編碼器演示中，你將繪制指定對(duì)象的完整圖形。在左側(cè)區(qū)域內(nèi)繪制完整草圖后，點(diǎn)擊自動(dòng)編碼按鈕，模型將開始在右側(cè)較小的框內(nèi)繪制類似的草圖。模型將嘗試模擬你的繪圖，而不是繪制完美的繪圖副本。

你可以嘗試?yán)L制其他類別的繪圖對(duì)象，并查看模型如何解釋你的繪圖。嘗試變分自動(dòng)編碼器演示。