微軟構(gòu)建Cardiolens系統(tǒng) 結(jié)合計算機視覺和HoloLens實現(xiàn)遠程生理學測量

據(jù)報道，微軟研究人員構(gòu)建Cardiolens的系統(tǒng)，是結(jié)合了先進的計算機視覺方法和HoloLens可以實現(xiàn)遠程生理學測量，展示混合現(xiàn)實可視化?？梢詫崿F(xiàn)實時的免手操作測量，可捕捉對象的生理學信息。

心動描記法是心臟功能的定量測量，這在傳統(tǒng)上需要定制的突觸接觸傳感器。借助新方法，我們可以通過無處不在的傳感器（如網(wǎng)絡攝像頭和加速度計）來捕獲光電容積描記和心沖擊描記信號。但是，我們?nèi)庋蹮o法感知這些信號。記者了解到，為了做到這一點，微軟研究部門構(gòu)建了一個名為Cardiolens的系統(tǒng)，使用前置攝像頭來實現(xiàn)遠程生理學測量，并通過全息顯示器來展示混合現(xiàn)實可視化。

Cardiolens結(jié)合了先進的計算機視覺方法和微軟HoloLens，通過前置攝像頭，心沖擊圖成像，以及遠程成像光電容積脈搏波檢測方法來恢復脈搏信號，實現(xiàn)實時的免手操作測量，以及多人血流量和生命體征的可視化。

Cardiolens采用了兩種形式的成像心動描記法來捕捉用戶的心律和注視點對象的心律。系統(tǒng)能夠根據(jù)來自攝像頭的視頻對面部進行自動檢測。圖像分為紅，綠，藍，然后再形成隨時間變化的信號。系統(tǒng)通過結(jié)合機器學習和數(shù)字信號處理技術來恢復脈搏信號。攝像頭捕捉Cardiolens系統(tǒng)用戶的頭部運動。光流和信號處理技術則用于恢復這一運動信號，而心律則可以提取出來。

用戶所需要做的事情是佩戴設備，然后看著特定對象即可捕捉她的生理學信息。這一切都可以在自然的人際交互期間實現(xiàn)。設備將顯示放大后的信號，以及該對象的心律和恢復的脈搏波。用戶可以在混合現(xiàn)實環(huán)境中實時瀏覽所有的信息。同樣地，系統(tǒng)同樣可以可視化用戶的生理學響應。根據(jù)脈搏波，系統(tǒng)可以提取心率，心率變化和呼吸率。

Cardiolens可用于幫助醫(yī)生可視化人體不同部位的血液流動，并優(yōu)化遠程通信和視頻會議應用。也允許用戶在佩戴該設備時瀏覽自己的心率，以及僅通過目光掃視他人即可查看他們的心率和心率變化。Cardiolens為佩戴者提供了一種理解生理信號的新方法，并且已經(jīng)應用于人機交互和社會心理學研究。

想象一下當你看著某人的時候，你可以看到TA的心跳，是不是很酷。