深度解析軟鏡內(nèi)窺鏡中FPGA技術(shù)應(yīng)用

未曾想到，因為突然心血來潮，調(diào)研總結(jié)的內(nèi)窺鏡一文，竟然會得到大家如此的關(guān)注，不知不覺用戶關(guān)注數(shù)量井噴，咨詢及探討的人也是應(yīng)接不暇，超出了我原有的想象?；蛟S這是本公眾號成立以來，正經(jīng)文章閱讀量d NO.1（寫哲庫關(guān)門的那篇近10W的不算）。

那么，趁熱打鐵，趕緊連夜開始我們的第二篇：拆解幾千塊的軟鏡內(nèi)窺鏡，找到FPGA的突破口!!!

?內(nèi)窺鏡的組成?

這是一款入門級別的軟鏡內(nèi)窺鏡，采OVM6946+OV426方案實現(xiàn)，其中鏡頭部分長度為1.5m，USB信號線部分為1.5m，合計約3米。該設(shè)備設(shè)計相對簡單，價格也比較親民，主要應(yīng)用于動物的手術(shù)內(nèi)窺。但用來研究入門級內(nèi)窺的結(jié)構(gòu)，應(yīng)該是夠了。So，如下圖所示：

信號接口：供電及信號輸出，連接到后續(xù)尾板

汽水通道：手術(shù)時通過此通道，傳說或者送氣

操作手柄：主要用于控制鏡頭部位蛇骨的轉(zhuǎn)向

器械通道：用來安裝進抓鉗，

彎曲蛇骨：內(nèi)窺鏡鏡頭后可彎曲的部分，由操作手柄調(diào)節(jié)方向：

但我拿到的這個入門級內(nèi)窺，他這個彎曲蛇骨竟然不是萬向的，因此想要進入體內(nèi)，還得靠一定的技術(shù)。

OVM6946實測圖像分析

該設(shè)備用了一個ASIC，將OV426輸出的圖像轉(zhuǎn)成UVC后，通過USB2.0傳輸。因此直接將USB插入Windows，自動識別到UVC Camera，采用系統(tǒng)自帶的相機，即可打開相機（識別到400*400@30的UVC相機）。

首先我嘗試著拿了個色卡，看一下OV426的ISP做的咋樣，如下圖所示：

我只能說成像效果太感人了，都趕上幾十年前的諾基亞了。當然分辨率低也情有可原，但這噪聲也確實大的感人了一點。

當然了，內(nèi)窺主要用于腔體內(nèi)的成像，鏡頭焦距（多少呢？）較短，拿出來看效果肯定不會理想，同時那么遠的距離，補光燈幾乎可以忽略了。那么大膽勇敢地插入自己的鼻孔，此刻我就是1個動物?。。。?/p>

好激動又好恐怖，第一次0距離深入觀察了自己的鼻孔，看看困擾我n年的鼻炎，我命由我不由天！進去一點，再進去一點，繼續(xù)勇敢深入進去：

Finally，我得到了想要的圖片，我看清楚了那些年阻礙我大口呼吸的惡魔，我懂得我之所以老是頭痛眼脹的緣由了——一塊鼻息肉。此刻給我一個抓鉗，恨不得一刀下去（據(jù)說切了之后還會增生，沒完沒了，還是要控制生活及飲食，不能這么晚睡覺（0點51分了）。

那么，先簡短總結(jié)一下測試效果：

環(huán)境：? ?在腔體成像，補光才有意義

實時性：還行

幀率：? ?還行

分辨率：太低了

噪聲：? ?還是略大
?

再看鏡頭，尋找FPGA的突破口

OK，我們再會過來看看我們的鏡頭，分析一下根源的所在。如下是內(nèi)窺鏡頭的核心部分，前端為OVM6946鏡頭+補光：

這還不夠清晰，專門放大看鏡頭部分，窺一斑可見全豹，如下：

在這狹小的2mm不到的空間，容納了1個攝像頭，2個LED補光，以及1個傳氣/水孔。所謂靶大一級比死人，OVM6946成相差的根本原因，就是因為1/18寸實在太小了，并且感光區(qū)域只有0.5平方毫米，像素只有1.75um，為了捅進尿道，在尺寸上真是耗盡了心血。

那么，強大的FPGA出場，我們是否有機會找到突破口呢？

先看OV426的ISP功能，如下圖所示，就簡單的黑電平矯正、自動曝光、白平衡。OV明明是專業(yè)做Sensor的，對ISP為啥只做到這個份上呢？一切為了成本嗎？

FPGA有高速并行的特性，在有限的RTL上我們可以釋放我們無限的想象空間，進行釋放我們的圖像和算法，并且采用流水線特性提高我們的處理效率。那么，提前總結(jié)下FPGA進行內(nèi)窺相機ISP處理的優(yōu)勢：

1）不再受ASIC限制，用戶可自定義ISP算法

2）不再千篇一律，不同的廠家百花齊放

3）可新增例如寬動態(tài)、去霧、3D降噪等對進一步優(yōu)化效果的算法

4）接口多樣化，任意擴展LCD/HDMI/以太網(wǎng)等，不再單一的UVC

5）進一步打開格局，實現(xiàn)3D成像、深度識別、AI分析等功能

對于我，現(xiàn)在最想做，除了用FPGA實現(xiàn)完整流水線Pipeline的ISP外，那就是FPGA超分辨率算法。400*400實在太低了，OV9734又太大了，采用FPGA實現(xiàn)超分辨率算法，先從第一視角提升用戶的感官！給個圖先秀一下：

另外，號外下：OV426解碼板PCB已經(jīng)投了，正式開始接受內(nèi)窺市場的洗禮，一切都值得嘗試，哪怕失敗也要先被摩擦，敬請期待吧！

審核編輯：黃飛

?