如何利用AI追蹤或研究大型的小動(dòng)物群落

研究動(dòng)物有多種原因，無(wú)論是為了醫(yī)學(xué)研究還是為了更深入地了解它們的行為。特別是斑馬魚，它們不僅可用性高，且與人類共有70%的基因，并且具有與我們相似的基因結(jié)構(gòu)而被普遍研究。已知與人類疾病相關(guān)的基因中，有84%都在斑馬魚中有對(duì)應(yīng)基因。 但是我們?cè)撊绾巫粉櫥蜓芯看笮偷男?dòng)物群落呢？idtracker.ai是一個(gè)旨在識(shí)別和追蹤群體中每個(gè)個(gè)體的位置，而不需考慮動(dòng)物的種類或大小的工具。

基于idtracker.ai的機(jī)器視覺

idtracker.ai是由葡萄牙里斯本Champalimaud研究所集體行為實(shí)驗(yàn)室的團(tuán)隊(duì)創(chuàng)建的，它是一個(gè)旨在識(shí)別和追蹤集體中每個(gè)個(gè)體的位置，而不管動(dòng)物的種類或大小的工具。在這種情況下，idtracker.ai可以追蹤多達(dá)100條幼年斑馬魚的大型群落，準(zhǔn)確率高達(dá)99.9%。該系統(tǒng)還可以跟蹤單個(gè)個(gè)體。為此，該系統(tǒng)使用兩個(gè)深度網(wǎng)絡(luò)。一個(gè)用來(lái)檢測(cè)動(dòng)物何時(shí)接觸或交叉，另一個(gè)用來(lái)識(shí)別每個(gè)個(gè)體。

系統(tǒng)裝配

該系統(tǒng)由一個(gè)直徑70厘米的定制水箱和一個(gè)水循環(huán)系統(tǒng)組成。水箱被放置在一個(gè)盒子里，盒子由白色啞光的亞克力墻和一個(gè)門組成，方便進(jìn)出。

采用28毫米蔡司Distagon鏡頭的虹科EVT單色HT-20000相機(jī)位于水箱表面上方70厘米處。HT-20000是一款2000萬(wàn)像素的相機(jī)，采用AMS的CMV20000 CMOS傳感器。其高速RJ45 10GBaseT接口為許多應(yīng)用和100米長(zhǎng)的電纜提供了經(jīng)濟(jì)高效的解決方案。

紅外和RBG LED條帶和位于相機(jī)周圍的圓柱形可伸縮光漫射器提供均勻照明。使用運(yùn)行64位Windows 10和NorPix StreamPix軟件的RAID 2TB臺(tái)式計(jì)算機(jī)錄制視頻。

個(gè)體的識(shí)別和檢測(cè)

idtracker.ai使用兩個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）。一個(gè)用于檢測(cè)動(dòng)物何時(shí)接觸或穿越（深度穿越探測(cè)器），另一個(gè)用于識(shí)別動(dòng)物（識(shí)別網(wǎng)絡(luò)）。 系統(tǒng)通過(guò)在每秒25到50幀的范圍內(nèi)采集圖像數(shù)據(jù)來(lái)啟動(dòng)該進(jìn)程。這使得系統(tǒng)能夠收集屬于同一個(gè)體的圖像，并將其組織成圖像碎片，以便準(zhǔn)確追蹤和識(shí)別，而不會(huì)使系統(tǒng)過(guò)載，產(chǎn)生冗余的圖像數(shù)據(jù)。
從視頻中提取代表單個(gè)或多個(gè)接觸動(dòng)物的圖像。每個(gè)圖像被標(biāo)記為單個(gè)個(gè)體或交叉點(diǎn)。表示相同個(gè)體（或交叉）的視頻的后續(xù)幀中的圖像組分別被命名為個(gè)體和交叉的片段。idtracker.ai依靠個(gè)體的視覺特征來(lái)跟蹤個(gè)體。 單個(gè)片段集合的子集，其中所有個(gè)體在視頻的同一部分中可見，然后用于生成帶有相應(yīng)標(biāo)識(shí)的單個(gè)圖像的數(shù)據(jù)集。然后利用這個(gè)數(shù)據(jù)集訓(xùn)練第二個(gè)CNN根據(jù)圖像的身份（識(shí)別網(wǎng)絡(luò)）對(duì)圖像進(jìn)行分類。

從標(biāo)記圖像的第一個(gè)數(shù)據(jù)集獲得的信息將允許準(zhǔn)確地分配單個(gè)片段的整個(gè)集合，或者通過(guò)在整個(gè)視頻中合并安全地識(shí)別的單個(gè)片段來(lái)增加第一個(gè)數(shù)據(jù)集。最后，通過(guò)一系列的后處理例程來(lái)糾正微小的識(shí)別錯(cuò)誤，并在最后一個(gè)計(jì)算核中推斷交叉片段的身份。

10 GigE HT-20000高速相機(jī)

HT-20000相機(jī)采用CMV20000 CMOS傳感器，成像區(qū)尺寸達(dá)35mm。在最大分辨率(5120×3840)下，每秒可以采集32幀圖像。其采用10GBase-T接口，小尺寸，通過(guò)CAT6A線纜連接，這款相機(jī)與GigE相機(jī)相似，但速度卻是GigE相機(jī)的10倍。使用CAT6A線纜，可以滿足1米-100米的連接長(zhǎng)度。HT-20000提供小于1μs精度多相機(jī)同步技術(shù)，低CPU開銷，具有出色的性價(jià)比。

責(zé)任編輯：haq