如何使用OpenCV來實(shí)現(xiàn)模型加載與推演

今早在GitHub上收到一則issue，發(fā)信人為Suaro。

Suaro希望使用OpenCV來實(shí)現(xiàn)模型加載與推演，但是沒有成功，因此開了issue尋求我的幫助。

現(xiàn)場(chǎng)圍觀該Issue：

https://github.com/yinguobing/facial-landmark-detection-hrnet/issues/3

說實(shí)話這個(gè)功能并沒有在我最初的考慮范圍內(nèi)。該項(xiàng)目所遵守的開源協(xié)議意味著我沒有義務(wù)去解決這個(gè)問題。但是，Suaro提issue的方式在我看來是非常值得贊許與推廣的。所以，我不僅幫TA解決了issue，還要以此為樣本，與大家分享下一些提issue時(shí)的注意事項(xiàng)。

首先，我們先解決OpenCV加載模型的問題。

使用OpenCV加載模型

OpenCV在3.0的版本時(shí)引入了一個(gè)dnn模塊，實(shí)現(xiàn)了一些基本的神經(jīng)網(wǎng)絡(luò)模型layer。在最新的4.5版本中，dnn模塊使用函數(shù) readNet 實(shí)現(xiàn)模型加載。不過根據(jù)官方解釋，OpenCV不支持TensorFlow所推薦的模型保存格式 saved_model 。所以在加載模型之前，模型需要首先被凍結(jié)。

凍結(jié)網(wǎng)絡(luò)

在之前的文章“TensorFlow如何凍結(jié)網(wǎng)絡(luò)模型”中介紹過了凍結(jié)網(wǎng)絡(luò)的具體含義以及原理。但是在TensorFlow2中網(wǎng)絡(luò)凍結(jié)似乎被棄用了，文中提到的凍結(jié)腳本也無(wú)法使用。幸運(yùn)的是，網(wǎng)絡(luò)凍結(jié)的原理仍然有效，而且OpenCV作者提供了一小段示例樣本展示了凍結(jié)網(wǎng)絡(luò)的方法如下：

importtensorflowastffrom tensorflow.python.framework.convert_to_constants import convert_variables_to_constants_v2# Load the model from saved_model.loaded=tf.saved_model.load('my_model')infer=loaded.signatures['serving_default']f=tf.function(infer).get_concrete_function(input_1=tf.TensorSpec(shape=[None,256,256,3],dtype=tf.float32))f2=convert_variables_to_constants_v2(f)graph_def=f2.graph.as_graph_def()#Exportfrozengraphwithtf.io.gfile.GFile('frozen_graph.pb','wb')asf:f.write(graph_def.SerializeToString())

凍結(jié)TensorFlow2模型的示例代碼，作者：Dmitry Kurtaev

在這段代碼中，模型的推演功能被包裹在 tf.function 中，構(gòu)建了靜態(tài)圖。然后通過 convert_variables_to_constant_v2 將變量轉(zhuǎn)換為常量，并將最終獲得的 graph_def 寫入單獨(dú)的protobuf文件。

加載并推演

網(wǎng)絡(luò)凍結(jié)完成后，并可以使用OpenCV加載推演了。示例代碼如下：

import numpy as npimportcv2ascv net=cv.dnn.readNet('frozen_graph.pb')inp=np.random.standard_normal([1,3,256,256]).astype(np.float32)net.setInput(inp)out=net.forward()print(out.shape)

OpenCV加載模型的示例代碼，作者：Dmitry Kurtaev

Issue順利解決。 注意TensorFlow版本為2.3.1。OpenCV版本4.5.0。

接下來我們來談?wù)勅绾翁醝ssue。

Issue是什么

Issue在中文環(huán)境下多譯為“問題”，而且是那種可能造成反復(fù)糾纏、難以解決的問題例如社會(huì)問題（social issue）。電視劇“神盾局特工”中的“反派”局長(zhǎng)也曾用這個(gè)詞來調(diào)侃Daisy。

實(shí)際上，這個(gè)詞在現(xiàn)代制造業(yè)中也經(jīng)常會(huì)遇到。在我工作的第一家公司中，每個(gè)項(xiàng)目在啟動(dòng)前都會(huì)組織不同維度與形式的技術(shù)研討，核心就是可能會(huì)遇到的“技術(shù)issue”。而且項(xiàng)目一旦進(jìn)入實(shí)質(zhì)性質(zhì)的試生產(chǎn)流片階段，大家最害怕出現(xiàn)的也是issue。它通常意味著加班、業(yè)績(jī)壓力以及可能的推倒重來。

軟件行業(yè)中，issue這個(gè)詞常被用來指代計(jì)算機(jī)程序使用過程中出現(xiàn)的異常表現(xiàn)。因此源代碼托管平臺(tái)GitHub專門為每一個(gè)項(xiàng)目提供了一個(gè)專門的討論空間，供代碼的使用者提出自己遇到的issue使用。這個(gè)區(qū)域在UI界面上緊挨著源代碼，其重要性可見一斑。

圖源：作者GitHub頁(yè)面截圖

造成Issue的原因

程序的異常行為背后可能存在多種原因，有可能是代碼中存在的錯(cuò)誤，也有可能是使用者的不當(dāng)操作造成。例如一臺(tái)微波爐無(wú)法加熱食物，可能是磁控管故障，也有可能是沒插電源。面對(duì)“無(wú)法加熱”這個(gè)現(xiàn)象，找到其背后的原因是解決issue的關(guān)鍵。這時(shí)候，提issue的方式在某種程度上直接決定了問題解決的速度。根據(jù)我的觀察，一個(gè)優(yōu)秀的issue提出者能夠做到以下幾點(diǎn)。

嘗試解決問題

如果你家的微波爐不工作了，大部分人的第一反應(yīng)可能會(huì)去檢查電源線是不是沒有插上。這就是在嘗試解決問題。理論上越是成熟的項(xiàng)目代碼，發(fā)生故障的概率越低。一旦異常事件發(fā)生了，首先要嘗試排除最可能發(fā)生的狀況。畢竟因?yàn)樗蓜?dòng)的電源線叫廠家的維修人員上門服務(wù)，除了費(fèi)用不說，主要是耽誤自己的午餐。

嘗試解決問題的手段因每個(gè)人的能力不同而不同。在保證安全的前提下盡力即可。例如本次提issue的小伙伴就詳細(xì)的描述了TA已經(jīng)嘗試過的方案，而且以列表的形式一一列出，這無(wú)疑顯示了TA的誠(chéng)意，是加分項(xiàng)。

逐條列出已經(jīng)嘗試過的方案

反過來，如果issue提出者上來就說“XXX不能用，該怎么辦呀”，這樣多多少少顯得有些伸手黨，不過也沒什么大不了，只要TA能做到——

準(zhǔn)確描述現(xiàn)象

這是最常見的現(xiàn)象，不僅僅是issue區(qū)域，在生活中也隨處可見。當(dāng)問題出現(xiàn)時(shí)，無(wú)法使用語(yǔ)言傳遞準(zhǔn)確的有價(jià)值信息。同樣是微波爐的例子，以下是兩種不同的表述：

A:我家的微波爐壞了，咋辦呀？

B:我家的微波爐不工作了，大火力加熱兩分鐘，指示燈不亮，微波爐不響，食物不熱。電源插好了，可能是什么原因呀？

準(zhǔn)確描述現(xiàn)象的最大好處在于這樣做可以盡可能的排除各種導(dǎo)致故障的可能性。最為廠家售后人員，如果你聽到的是第一種回答，你多半會(huì)要求用戶檢查電源線是否插好。而第二種回答顯然已經(jīng)排除了這種可能性，甚至可以初步估計(jì)出故障的嚴(yán)重程度已經(jīng)超過了普通用戶的解決能力。這無(wú)疑有利于問題盡快解決。

代碼issue與之類似，當(dāng)問題出現(xiàn)時(shí)，在issue中要盡可能的描述出具體的現(xiàn)象。一個(gè)糟糕的描述可能是：

A: 我的代碼奔潰了，是什么原因呀？

而一個(gè)優(yōu)秀的描述則是：

B: 我在執(zhí)行 python3 train.py --batch_size=32 的時(shí)候訓(xùn)練中斷了，并且顯示錯(cuò)誤信息 ValueError ...

代碼的錯(cuò)誤信息就像是微波爐上的指示燈，它可以提供非常有用的信息幫助排除錯(cuò)誤發(fā)生的原因。解決代碼的錯(cuò)誤需要“抓現(xiàn)行”，也就是要讓程序在你眼前奔潰給你看。這也是為什么幾乎所有的代碼作者要求提issue的時(shí)候附上導(dǎo)致錯(cuò)誤出現(xiàn)的具體指令或者示例代碼。

這一點(diǎn)Suaro就做得很好。TA在issue中附上了完整的錯(cuò)誤信息：

在issue中附上具體的錯(cuò)誤信息

一般來說，做到這種程度解決該issue就有希望了。如果是代碼問題，多半會(huì)修復(fù)。如果該issue無(wú)法復(fù)現(xiàn)，那有可能不是代碼問題，此時(shí)代碼作者多半會(huì)要求你——

提供必要信息

實(shí)際上這是最基礎(chǔ)的要求，但往往是最先被忽略的部分。繼續(xù)拿廣受歡迎的微波爐舉例。作為廠家的售后人員，當(dāng)你要求客戶提供微波爐的型號(hào)代碼后，你有可能會(huì)發(fā)現(xiàn)用戶買的其實(shí)根本就不是微波爐，而是洗碗機(jī)！

這一問題在軟件行業(yè)更加突出。一是因?yàn)橥粋€(gè)軟件可能存在多版本并存的現(xiàn)象。例如OpenCV就有2.x, 3.x和4.x這三個(gè)主版本分支。TensorFlow也有1和2兩個(gè)主版本。除此以外，現(xiàn)今軟件更迭速度前所未有的迅速，nightly（每日更新）也不罕見。如果把git commit算進(jìn)去那更是多如牛毛。所以issue可能是由于版本不兼容造成的。

所以，我強(qiáng)烈建議在提issue時(shí)一定要附上自己所使用的環(huán)境信息。實(shí)際上，GitHub已經(jīng)內(nèi)置了issue模板，將必要的信息嵌入進(jìn)去，用戶提issue就像是在做選擇題一樣。

TensorFlow提供的issue模板

Suaro在issue中并沒有附上這部分信息。這種情況下我會(huì)默認(rèn)TA使用的環(huán)境信息與我在README文件中的一致。當(dāng)然，反過來考慮，當(dāng)代碼作者的環(huán)境與README不同時(shí)，也需要在issue回復(fù)中明示。

我在issue回復(fù)時(shí)標(biāo)明了版本信息

交流溝通的能力

寫了這么多關(guān)于issue的內(nèi)容，聰明的你應(yīng)該已經(jīng)看出來了。Issue只是表面形式，內(nèi)里的核心是溝通與交流。有誠(chéng)意的、有效率的溝通與交流是每個(gè)人都應(yīng)該掌握的能力。工作中它有助于項(xiàng)目推進(jìn)，生意中可以避免誤解與爭(zhēng)端，生活中可以讓你交到真心朋友。雖然目前的大環(huán)境對(duì)于真誠(chéng)交流的人不那么友好，但是，對(duì)于每一個(gè)真誠(chéng)的人，總會(huì)有另一份真誠(chéng)不負(fù)期望。

責(zé)任編輯：xj

原文標(biāo)題：使用OpenCV加載TensorFlow2模型

文章出處：【微信公眾號(hào)：新機(jī)器視覺】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。