師法自然 自動(dòng)追蹤生物運(yùn)動(dòng)的AI工具

很長(zhǎng)一段時(shí)間以來(lái)，科學(xué)家一直都需要這樣一款工具。

在一個(gè)視頻片段中，一只嚙齒目動(dòng)物伸出一只爪子抓住了一小塊食物，你會(huì)看到它的指關(guān)節(jié)位置處都自動(dòng)閃現(xiàn)出彩色的小圓點(diǎn)。而在另一片段中，一匹賽馬正沿著賽道急速馳騁，彩色小圓點(diǎn)在不斷地跟隨它的動(dòng)作閃爍，追蹤其身體各部位的位置。在第三個(gè)視頻片段中，兩位人類(lèi)舞者正圍繞著彼此做轉(zhuǎn)圈的動(dòng)作，他們肢體的動(dòng)作時(shí)而流暢，時(shí)而停頓，而同樣的這些彩色小點(diǎn)卻不間斷地跟隨著他們的肢體移動(dòng)。

這些片段來(lái)自于一種可以自動(dòng)追蹤并標(biāo)記移動(dòng)生物身體部位的工具—DeepLabCut 的展示視頻之中。這一工具是在今年由一對(duì)神經(jīng)科學(xué)家夫婦 Mackenzie Mathis 和 Alexander Mathis 共同研發(fā)而出，以其簡(jiǎn)單、易操作性而見(jiàn)長(zhǎng)。任何研究人員都可以從網(wǎng)絡(luò)上下載任何視頻，并在幾十幀素材對(duì)其中特定的身體部位進(jìn)行數(shù)字標(biāo)記。然后，這一工具就會(huì)自動(dòng)學(xué)習(xí)如何在視頻的其余部分挑選出相同或者類(lèi)似的功能。并且，這一工具適用于不同的物種，既可以用于蒼蠅和老鼠這些實(shí)驗(yàn)室的“常客”，也適用于一些更不尋常的動(dòng)物物種，接下來(lái)就是這樣的一個(gè)例子。

一部拍攝于哥斯達(dá)黎加的視頻展示了一種被稱(chēng)為地衣螽斯的昆蟲(chóng)，這種昆蟲(chóng)的外觀(guān)形態(tài)可以與它的生存環(huán)境-白色地衣完美的融為一體，通過(guò)這種方式來(lái)偽裝自己。但是，DeepLabCut 卻能夠透過(guò)地衣螽斯的偽裝形態(tài)，成功地對(duì)它的腳、關(guān)節(jié)和觸角進(jìn)行標(biāo)記。來(lái)自哈佛大學(xué)神經(jīng)科學(xué)研究團(tuán)隊(duì) MurthyLab 的領(lǐng)頭人 Venkatesh Murthy（也是 Mathis 夫婦的同時(shí)）說(shuō)道：“我認(rèn)為這種方法將徹底改變行為科學(xué)，包括神經(jīng)科學(xué)和心理學(xué)。”

行為科學(xué)領(lǐng)域的許多研究都取決于能否理解人類(lèi)和動(dòng)物的行為，而這往往是通過(guò)解析錄制下來(lái)的動(dòng)作來(lái)進(jìn)行。例如，來(lái)自法國(guó)國(guó)家科學(xué)研究中心的 James Bonaiuto 就對(duì)持有工具的人的肢體運(yùn)動(dòng)是如何與他們大腦中的神經(jīng)活動(dòng)模式相關(guān)聯(lián)這一問(wèn)題進(jìn)行了研究。他表示：“許多研究都需要一批研究生的配合來(lái)進(jìn)行，因?yàn)樾枰麄円粠粠⑸焚M(fèi)苦心地去編碼行為視頻。”而 DeepLabCut 能夠讓這項(xiàng)原本繁重的工作自動(dòng)化進(jìn)行，因而此類(lèi)的研究也可以更加快速、更加準(zhǔn)確的推進(jìn)。

來(lái)自哥倫比亞大學(xué) Zuckerman 大腦行為研究機(jī)構(gòu)的研究人員 Andres Bendesky 正在使用這一算法來(lái)研究斗魚(yú)的戰(zhàn)斗行為，他補(bǔ)充道：“我用過(guò)很多商業(yè)和學(xué)術(shù)視頻追蹤軟件，甚至自己也編寫(xiě)過(guò)一款，DeepLabCut 相比它們來(lái)說(shuō)好了不是一點(diǎn)半點(diǎn)。很長(zhǎng)一段時(shí)間以來(lái)，人們一直都需要這樣一款軟件，我希望至少在一段時(shí)間之內(nèi)它能成為該領(lǐng)域的標(biāo)準(zhǔn)?！?/p>

來(lái)自以色列本·古里安大學(xué)（Ben Gurion University of the Negev）的神經(jīng)科學(xué)家 Ilana Nisky 博士正在使用 DeepLabCut 來(lái)分析外科醫(yī)生如何使用他們的手術(shù)針這一問(wèn)題，以更好地編程可以協(xié)助手術(shù)的機(jī)器人。她說(shuō)道：“DeepLabCut 效果非常好，即便在試驗(yàn)過(guò)程中面向攝像頭的一側(cè)位置發(fā)生變化，它也可以幫助我們很好地追蹤手術(shù)針的針頭以及針尾部位?！?/p>

DeepLabCut 的出現(xiàn)非常必要。當(dāng)時(shí) Alexander Mathis 正試圖通過(guò)觀(guān)察老鼠對(duì)氣味痕跡的追蹤行為來(lái)探索嗅覺(jué)方面的神經(jīng)科學(xué)。要做到這一點(diǎn)，他需要有一種簡(jiǎn)單的方法可以在視頻中對(duì)老鼠的鼻頭這一位置進(jìn)行標(biāo)記。但據(jù)他表示：“神經(jīng)科學(xué)家所用過(guò)的那些經(jīng)典方法在這里都以失敗告終?！崩纾芯咳藛T經(jīng)常會(huì)在需要觀(guān)察的身體部位上點(diǎn)涂或粘上反光點(diǎn)，但是對(duì)于像老鼠鼻子這種又小、又敏感的部位來(lái)說(shuō)，這種方法顯然不可行。Alexander 說(shuō)道：“多年來(lái)，我們嘗試了多款商業(yè)軟件，也嘗試了很多其他的解決方案，但都行不通。于是我們決定從當(dāng)下的實(shí)驗(yàn)中暫時(shí)后退一步，用一年的時(shí)間來(lái)嘗試解決這一問(wèn)題?！?/p>

從本質(zhì)上來(lái)看，DeepLabCut 其實(shí)是 DeeperCut 的修改版本，DeeperCut 是由其他研究人員創(chuàng)建的一個(gè)神經(jīng)網(wǎng)絡(luò)，用于檢測(cè)和標(biāo)記視頻中的人體姿態(tài)。這種神經(jīng)網(wǎng)絡(luò)在這方面非常擅長(zhǎng)，但是前提是你必須先向它們展示成千上萬(wàn)幀的手工標(biāo)記素材來(lái)訓(xùn)練它們。并且，如果你想讓它們對(duì)有著不同運(yùn)動(dòng)方式的不同物種進(jìn)行標(biāo)記，那你需要重新對(duì)它們進(jìn)行訓(xùn)練。

Mathises 夫婦首先在一個(gè)龐大的在線(xiàn)圖像數(shù)據(jù)庫(kù)—ImageNet 上對(duì)他們的網(wǎng)絡(luò)進(jìn)行前期培訓(xùn)，從而解決了這一繁瑣的操作步驟。這一步也有效地教會(huì)了神經(jīng)網(wǎng)絡(luò)如何去看待這個(gè)世界，并為其提供了一個(gè)基礎(chǔ)視覺(jué)系統(tǒng)。這樣一來(lái)，這一神經(jīng)網(wǎng)絡(luò)就能知道怎樣區(qū)分草莓與飛機(jī)或者是貓與狗。

在這之后，再教會(huì)網(wǎng)絡(luò)去識(shí)別一些例如老鼠的爪子、斗魚(yú)的鰭或者是螽斯的腿這樣更為具體的東西也就更為容易了，不需要再手動(dòng)去對(duì)上千上萬(wàn)幀素材進(jìn)行標(biāo)記，只要幾百幀甚至幾十幀就能達(dá)到培訓(xùn)效果。Mackenzie 說(shuō)道：“這就像是我們對(duì)它說(shuō)，‘你可以看到這個(gè)世界，現(xiàn)在我們希望你能找到這些身體部位，我們會(huì)先給你幾幀素材?！Y(jié)果是它真的可以做到?！?/p>

將多功能性與可靠性?xún)牲c(diǎn)整合到一起，這可以說(shuō)是非常獨(dú)特的成果。在過(guò)去的研究中，來(lái)自哥倫比亞大學(xué)的 Avner Wallach 曾依靠一種復(fù)雜的算法，這種算法專(zhuān)門(mén)用于追蹤單只嚙齒動(dòng)物胡須的位置，除此之外別無(wú)它用。盡管如此，其中仍然出現(xiàn)了很多的錯(cuò)誤，幾名學(xué)生不得不定期對(duì)追蹤結(jié)果進(jìn)行核查。Wallach 現(xiàn)在正在使用 DeepLabCut 來(lái)追蹤彼氏錐頜象鼻魚(yú)（分布于非洲尼日爾及剛果河流域，通過(guò)自身發(fā)出的微弱電流來(lái)感知周?chē)沫h(huán)境）的運(yùn)動(dòng)，他說(shuō)道：“這樣一種多功能并且具有普適性的算法絕對(duì)可以為世界各地的實(shí)驗(yàn)場(chǎng)所省去大量的工作。”

現(xiàn)在世界各地的研究人員都可以免費(fèi)使用 DeepLabCut，并且他們也都在充分利用這一工具，其中有許多是通過(guò) Mathises 夫婦二人都無(wú)法預(yù)料的方式。Alexander 補(bǔ)充道：“有一家公司聯(lián)系了我們，他們想要利用這一工具來(lái)預(yù)測(cè)某一匹馬是否能夠成為一匹優(yōu)秀的賽馬。”

Mackenzie 說(shuō)道：“我還收到過(guò)許多陌生人的電子郵件，有在實(shí)驗(yàn)中用 DeepLabCut 工具來(lái)追蹤視頻中靈長(zhǎng)類(lèi)動(dòng)作的自由行動(dòng)軌跡的，也有在狩獵過(guò)程中用來(lái)追蹤斑馬的，還有人用它研究像章魚(yú)和電鰻等復(fù)雜的生物或者是用來(lái)研發(fā)手術(shù)機(jī)器人等等。體育界人士對(duì)用它來(lái)追蹤棒球遠(yuǎn)動(dòng)員的投球表現(xiàn)非常感興趣?；蛘吣阋部梢阅蒙夏愕?iPhone 手機(jī)，拍攝孩子玩耍的視頻，回家之后用 DeepLabCut 分析他們的一舉一動(dòng)。”