基于ZYNQ的內(nèi)窺鏡方案

這一次，熊貓君分享一個內(nèi)窺鏡的技術(shù)實現(xiàn)方案。內(nèi)窺鏡的方案很多：主處理器有用專用ASIC的，比如日、臺、韓的相機ASIC；有用專用CPU的，比如海思、瑞星微和君正等。熊貓君的這個是基于Xilinx ZYNQ的低成本方案。

縱觀中低端的內(nèi)窺鏡用圖像傳感器，主要是以OV的為主，熊貓君接觸和實現(xiàn)過的主要有OV6946+OV426、OV6948+OV426、OV9734、OH02A1S（帶近紅外增強）、OH0TA10+普通ADC（這顆料據(jù)說是業(yè)界最小，400×400相素，封裝尺寸只有550μm*550μm）、DH01A10等等，接口有模擬的、MIPI和LVDS；另外還有就是艾邁斯的NanEyeM，320×320相素，接口用的是內(nèi)嵌碼的LVDS，需要高速時鐘過采樣才能接收，比較麻煩。對OV的Sensor而言，模擬輸出通過ADC采樣后一般可以轉(zhuǎn)為LVDS或DVP接口，MIPI輸出的因為分辨率和幀率都較低，速率不會太高（lane速率＜800Mbps），完全可以用ZYNQ加電阻網(wǎng)絡來接收圖像。

一、硬件方案

以下我們以OV的DH01A10為例來敘述，DH01A10實際上算是OV6946的升級版本，同樣是400×400相素的，區(qū)別是工藝更加先進：（1）近紅外波段成像增強；（2）靈敏度高達3600mV/lux-sec（OV6946只有1000mV/lux-sec，整整是3.6倍）；（3）封裝尺寸只有550μm×550μm，1/36”（業(yè)界最小，差不多是OV6946的1/4）;（4）輸出接口驅(qū)動能力為4米，可用用OV426接收，也可用其它ADC方案來搭。因此，相較于OV6946而言，DH01A10近紅外成像，成像質(zhì)量更高，驅(qū)動能力更強，不再有豎條紋狀非均勻性現(xiàn)象。那么，對于一般的手術(shù)用或檢查用臺式機，系統(tǒng)的硬件框圖如下圖1所示。

圖1 基于ZYNQ的醫(yī)療內(nèi)窺鏡硬件框圖

如上圖1所示，醫(yī)療手持式或臺機對體積和功耗沒有較高的要求，接口要求比較豐富一些，比如可以通過千兆網(wǎng)和USB接口導出錄制的視頻和拍攝的照片，可以通過網(wǎng)絡配置機器的參數(shù)，有按鍵和觸摸屏可以操控機器，有HDMI可以接入到通用顯示器等等。一般的，拍照存儲為JPEG格式，視頻存儲為mp4或avi格式，存儲在內(nèi)部的大容量eMMC中。通常的，會將攝像頭模組做成模塊化可拆卸裝置，作為一個耗材出現(xiàn)。

二、軟件方案

在這個系統(tǒng)中，ZYNQ實現(xiàn)了軟硬件協(xié)同處理，軟件方案圖如下圖2所示。在PL上，主要實現(xiàn)了Sensor驅(qū)動（圖像采集和寄存器配置等）、ISP處理、JPEG視頻編碼以及eDP或LVDS屏的驅(qū)動。在PS上，上層框架基于QT，實現(xiàn)了產(chǎn)品UI、觸摸屏、操控接口、視頻的編解碼、視頻的錄制、存儲、預覽和回放，照片的拍攝、保存和回看等功能，以及配置FPGA進行初始化、自動曝光和自動擺平和的配置工作。從器件性能上來說，ZYNQ-7000系列的ARM是雙核Cortex-A9，-2速度的也最多只能跑到766MHz，因此優(yōu)化這個系統(tǒng)使視頻錄制和顯示達到實時性的要求，所需要做的工作量很大，也需要linux和fpga層面協(xié)同做很多的處理，可謂是將芯片的性能運用到了極致。即使這樣，arm端實現(xiàn)h.264編碼也只能保證400*400/30fps的實時性，高于此規(guī)格的均由FPGA來進行Motion JPEG編碼，最終封裝為AVI視頻保存?；胤艜r解碼相對簡單，ARM運算即可滿足要求。本系統(tǒng)最高支持1080P/30fps的流處理。在ISP上，系統(tǒng)還需針對醫(yī)療及sensor做一些特殊的處理，比如大多數(shù)的OV6946而言有豎條紋，此時要做非均勻性校正算法，此類senor的動態(tài)范圍普遍偏低，還需要做一些對比度拉升或銳化處理使之看起來更加的銳利一些，有些還會有針對性進行調(diào)色處理等等。

圖2 基于ZYNQ的內(nèi)窺鏡軟件方案

總體來說，中低端的內(nèi)窺鏡前端設備不會涉及到專業(yè)的醫(yī)療軟件自動成像分析，主要還是檢查和手術(shù)過程中現(xiàn)場人工查看和分析這些影像。即使有自動軟件分析的需求，這些一般是通過接口傳輸影像數(shù)據(jù)到PC端后另行專業(yè)軟件處理。

更為高端的腹腔鏡之類，方案有用海思的，也有用ZYNQ UltraScale+ MPSoC帶Codec那款的，國外的頭部的也有用高端FPGA+高端的自有ASIC芯片的，總之整個技術(shù)難度要上一個很大的臺階。

另外，現(xiàn)在甚為流行的膠囊內(nèi)窺鏡，則走的另外一條低功耗的路子，傳感器性能不一定高，要求無線傳輸圖像，幀率可能是1~2Hz，也可能是觸發(fā)式的，但是有一個極低功耗的要求和一個很小體積的要求，一般要求能夠工作（休眠）數(shù)個小時。目前市面現(xiàn)有的產(chǎn)品也有采用低功耗FPGA（actel的）加MSP430單片機的方案（熊貓君拆過研究過一兩款現(xiàn)有產(chǎn)品，也動過折騰一款的念頭）。

三、其他

在當前的形勢下，熊貓君這邊的中低端內(nèi)窺鏡方案主要還是集中在基于ZYNQ-7010、瑞星微RV1126這兩個平臺上，也有海思和ZU4EV的，但是這倆一個是拿到芯片不容易，一個是太貴了，代價太高了，風險也太高了，其他的總是差點啥，不是這里性能不夠，就是那里接口少了?？傊Ｍ渌麌a(chǎn)能夠崛起，實現(xiàn)一個小目標：達到海思Hi3559的水平。

熊貓君這邊有成熟的基于ZYNQ-7000和RV1126的完整方案和整機，也歡迎感興趣的朋友蒞臨現(xiàn)場指導。如果您需要，而我恰恰也有的話，我們或許就能愉快的合作一把呢。

審核編輯：湯梓紅