基于MATLAB的車牌識別基本原理及算法講解

一：GUI界面預(yù)覽

二：選擇圖片

使用uigetfile函數(shù)打開一個(gè)模態(tài)對話框，其中列出了當(dāng)前文件夾中的文件。

在這里選擇或輸入文件的名稱。選擇文件點(diǎn)擊打開時(shí)，uigetfile將返回文件名。

如果點(diǎn)擊取消或窗口關(guān)閉按鈕 (X)，uigetfile 將返回 0。

對應(yīng)的GUI界面如下：

三：預(yù)處理

（1）灰度化

使用Rgb2gray函數(shù)將 RGB 圖像或顏色圖轉(zhuǎn)換為灰度圖，圖像預(yù)處理的第一步是圖像灰度化處理。該步驟使圖像占用空間減少。

灰度化處理結(jié)束后輸出灰度化圖像與灰度直方圖：

對應(yīng)的GUI界面如下：

（2）邊緣檢測

使用edge函數(shù)進(jìn)行邊緣檢測，在使用edge函數(shù)時(shí)可以指定要檢測的邊緣的方向。Sobel 和 Prewitt 方法可以檢測垂直方向和/或水平方向的邊緣。

Roberts 方法可以檢測與水平方向成 45 度角和/或 135 度角的邊緣。

經(jīng)過分析和實(shí)踐，使用Sobel方法效果較好，該函數(shù)的第三個(gè)參數(shù)為二值化閾值，把比該值大的置為1

為了在GUI中方便調(diào)試，我們把邊緣檢測的閾值設(shè)定為一個(gè)變量edit2_aa，該變量的值可以通過GUI中的文本框進(jìn)行設(shè)定，如下所示：

對應(yīng)的GUI界面如下：

四：車牌定位

（1）圖像腐蝕

使用imerode() 函數(shù)進(jìn)行圖像腐蝕，來去除上一步邊緣檢測后遺留的噪聲點(diǎn)， J = imerode(I,SE) 腐蝕灰度圖像、二值圖像或壓縮二值圖像 I，返回腐蝕圖像 J。

其中SE 是結(jié)構(gòu)元素對象或結(jié)構(gòu)元素對象的數(shù)組，由 strel 或 offsetstrel 函數(shù)返回。本列中由strel函數(shù)返回結(jié)構(gòu)元素SE。

為方便在GUI中進(jìn)行調(diào)試，矩形結(jié)構(gòu)元素的行數(shù)由GUI中可編輯文本框輸入，默認(rèn)為2，列數(shù)固定為1

對應(yīng)的GUI界面如下：

可以發(fā)現(xiàn)經(jīng)過圖像腐蝕后，去除了除車牌外的干擾點(diǎn)

（2）平滑處理

使用 imclose函數(shù)，即閉運(yùn)算：用結(jié)構(gòu)元素對圖像先膨脹，再腐蝕。對圖像進(jìn)行平滑處理，閉運(yùn)算可以用來融合窄的缺口和細(xì)長的彎口，去掉小洞，填補(bǔ)輪廓上的縫隙

本部分的結(jié)構(gòu)元素采用一個(gè)大小為 [n n] 的矩形結(jié)構(gòu)，其中矩形結(jié)構(gòu)的行數(shù)及列數(shù)由GUI的可編輯文本框進(jìn)行設(shè)定

對應(yīng)的GUI界面如下：

可以發(fā)現(xiàn)經(jīng)過平滑處理后，覆蓋的區(qū)域跟車牌區(qū)域吻合度更好了，便于車牌的定位和切割

（3）移除對象

使用bwareaopen 函數(shù)可以用于從二值圖像中刪除小對象。該函數(shù)使用格式為 BW2 = bwareaopen(BW,P) 從二值圖像 BW 中刪除少于 P 個(gè)像素的所有連通分量（對象）并生成另一個(gè)二值圖像 BW2。此運(yùn)算稱為面積開運(yùn)算。

為GUI方便調(diào)試，我將bwareaopen函數(shù)的第二個(gè)參數(shù)，通過GUI可編輯文本框輸入，并進(jìn)行調(diào)試

對應(yīng)的GUI界面如下：

由于前一步的平滑處理后并沒有小區(qū)域，所以對此步而言，效果并不明顯。

（4）定位剪切

對應(yīng)的GUI界面如下：

可以發(fā)現(xiàn)通過前面的邊緣處理、圖像腐蝕、平滑處理、移除對象等操作，圖像裁剪效果較好。

五：車牌識別

（1） 灰度處理

對原圖像進(jìn)行車牌定位，并把車牌裁剪出來后，要重新進(jìn)行灰度處理，便于后續(xù)的操作。

對應(yīng)的GUI界面如下：

（2）直方圖均衡化

使用 histeq 函數(shù)進(jìn)行直方圖均衡化來增強(qiáng)對比度 其函數(shù)使用格式為J = histeq(I,n) 其中I為變換灰度圖像，J為輸出灰度圖像，它具有 n 個(gè) bin 的直方圖大致平坦。為方便調(diào)試，我們將n的值通過GUI的可編輯文本框進(jìn)行輸入

對應(yīng)的GUI界面如下：

（3） 二值化圖像

使用 imbinarize函數(shù)進(jìn)行二值化 ，通過閾值化將二維灰度圖像或三維體二值化 ，該函數(shù)通過將所有高于全局閾值的值替換為 1 ，并將所有其他值設(shè)置為 0，從二維或三維灰度圖像 I 創(chuàng)建二值圖像。

在默認(rèn)情況下，imbinarize 使用 Otsu 方法，該方法選擇特定閾值來最小化閾值化的黑白像素的類內(nèi)方差

imbinarize(I,T) 使用閾值 T 從圖像 I 創(chuàng)建二值圖像。T 可以是指定為標(biāo)量亮度值的全局圖像閾值，也可以是指定為亮度值矩陣的局部自適應(yīng)閾值 ，為方便調(diào)試，我們將T的值通過GUI的可編輯文本框進(jìn)行輸入。

對應(yīng)的GUI界面如下：

（4） 移除對象

使用bwareaopen 函數(shù)可以用于從二值圖像中刪除小對象。該函數(shù)使用格式為 BW2 = bwareaopen(BW,P) 從二值圖像 BW 中刪除少于 P 個(gè)像素的所有連通分量（對象）并生成另一個(gè)二值圖像 BW2。此運(yùn)算稱為面積開運(yùn)算。

為GUI方便調(diào)試，我將bwareaopen函數(shù)的第二個(gè)參數(shù)，通過GUI可編輯文本框輸入，并進(jìn)行調(diào)試

進(jìn)行此步驟的目的是去除裁剪后車牌的白邊和噪聲點(diǎn)、干擾點(diǎn)等對后續(xù)字符切割造成干擾的信息

對應(yīng)的GUI界面如下：

通過對比，可以明顯的觀察到，經(jīng)過車牌識別移除對象操作，很好的去除了B和8之間的圓點(diǎn)，這個(gè)圓點(diǎn)如果不去除，對后續(xù)的裁剪將會造成很大的干擾。

除此之外，位于車牌輪廓的白線及其他噪聲點(diǎn)也被消除掉了，經(jīng)過此步后，車牌內(nèi)容只剩下要識別的七個(gè)字符，對后續(xù)的裁剪打下來良好的基礎(chǔ)。

（5） 中值濾波

使用 medfilt2 函數(shù)進(jìn)行二維中位數(shù)濾波， 其格式為 J = medfilt2(I,[m n]) 執(zhí)行中位數(shù)濾波時(shí)，其中每個(gè)輸出像素包含輸入圖像中對應(yīng)像素周圍的 m×n 鄰域中的中位數(shù)值。

在此處添加該步驟并不是為了濾除孤立的噪聲點(diǎn)，僅僅是為了將圖像字符的邊界進(jìn)行平滑處理，屬于對圖像的優(yōu)化操作，若前面的步驟進(jìn)行的較好，則本步驟的作用并不明顯。

因此，在操作時(shí)可以根據(jù)需要靈活選擇是否跳過該步驟。

對應(yīng)的GUI界面如下：

通過對比，可以明顯的觀察到，經(jīng)過車牌識別移除對象操作，很好的去除了B和8之間的圓點(diǎn)，這個(gè)圓點(diǎn)如果不去除，對后續(xù)的裁剪將會造成很大的干擾。

除此之外，位于車牌輪廓的白線及其他噪聲點(diǎn)也被消除掉了，經(jīng)過此步后，車牌內(nèi)容只剩下要識別的七個(gè)字符，對后續(xù)的裁剪打下來良好的基礎(chǔ)。

（6） 圖像切割（本部分程序較長，就不放了，見工程文件435-528行，及my_imsplit函數(shù)）

該步驟進(jìn)行的操作及思路為：首先讀取經(jīng)過中值濾波后的圖像數(shù)據(jù)，調(diào)用我們寫的my_imsplit函數(shù)，對圖像進(jìn)行初步裁剪。

在該函數(shù)中，依次進(jìn)行了：獲取圖像的大小、獲取字符的頂部位置、獲取字符的底部位置、獲取字符的左邊界、獲取字符的右邊界、得到寬和高、裁剪等步驟

其中在通過size函數(shù)得到圖像的尺寸信息后，從第一行開始按行向下搜索，找到第一個(gè)行像素和非零的行作為圖片的頂部位置，然后從左后一行，向上搜索，找到第一個(gè)行像素和非零的行作為圖片的底部位置，同理和獲得左邊界和右邊界

為了方便后續(xù)識別，我們在找出的上下邊界的基礎(chǔ)上，向上和向下各拓展了10個(gè)像素（若疊加后不超出邊界）

之后的到裁剪后的寬度和高度，調(diào)用MATLAB的imcrop函數(shù)，對圖像進(jìn)行裁剪，該函數(shù)用于返回圖像的。

一個(gè)裁剪區(qū)域，該函數(shù)的第一個(gè)參數(shù)為需要裁減的圖像，第二個(gè)參數(shù)為一個(gè)包含四個(gè)元素的行向量，其中第一個(gè)和第二個(gè)元素為裁剪的左上角的坐標(biāo)點(diǎn)，第三第四個(gè)元素為裁剪后的寬度和高度

回到主函數(shù)文件中，在裁剪完成后進(jìn)行的操作是第一個(gè)字符的切割，首先通過找到第一個(gè)像素和非零的列，來作為第一個(gè)字符的左邊界，在此基礎(chǔ)上繼續(xù)向右搜索。

找到第一個(gè)像素和為零的列，作為右邊界，接下來通過找到的該字符的寬度與車牌整體寬度的比值來判斷是否裁剪異常，若異常則選取左右邊界內(nèi)像素和最小的列作為右邊界，并將其置零。并進(jìn)行多項(xiàng)異常檢測與糾正。

每裁剪出一個(gè)字符，就將車牌中其對應(yīng)位置的像素均清零，方便后續(xù)搜尋

同理可以得到后面的六個(gè)字符，將裁剪后的字符的大小統(tǒng)一制定為[40 20]，進(jìn)行保存，并繪制出圖像

其切割效果如下：

可以發(fā)現(xiàn)切割效果較好

（7）模板匹配

我們將要識別的字符放置到一個(gè)字符串中，該字符串的第1到第10的元素存放數(shù)字0到9，第11到34的元素存放字母A~Z（除I和O），第35個(gè)存放漢字魯。

對于每個(gè)字符，我們首先讀取之前裁剪出的車牌字符，并調(diào)整圖片的大小，進(jìn)行二值化處理，對于第一個(gè)字符設(shè)定其搜索范圍為35，第二個(gè)字符搜索范圍為11到34，其余的字符搜索范圍為1到34。

接著讀取字符庫的圖片模板跟車牌中裁剪出的字符進(jìn)行匹配，此處的匹配我們用了兩種方法，基礎(chǔ)方法是對比兩張圖片的每一個(gè)像素點(diǎn)，統(tǒng)計(jì)其不相等的像素個(gè)數(shù)，并將相似度最高的模板作為識別結(jié)果，并將識別的結(jié)果通過msgbox函數(shù)進(jìn)行展示。

識別結(jié)果為：

六：結(jié)果轉(zhuǎn)換

（1） 車牌模板匹配

IDFind函數(shù)的作用是，輸入一個(gè)字符串，也就是識別出的車牌，將其與模板庫里的車牌進(jìn)行匹配，尋找相似度最高的一個(gè)作為匹配結(jié)果。

其中IDLib用來存放需要匹配的車牌號與其對應(yīng)的隱含信息等，該函數(shù)返回量依次為，匹配的車牌號、設(shè)定的其他隱含信息

（2） 生成二維碼

該部分用于識別的車牌匹配出的數(shù)字信息轉(zhuǎn)換成二維碼進(jìn)行顯示，包含了要求的灰度二維碼以及拓展提高的QR二維碼

其中QRcode函數(shù)用來生成QR二維碼，其代碼如下：

其中g(shù)raycode函數(shù)用來生成灰度二維碼，其代碼如下：

灰度二維碼的轉(zhuǎn)換過程為：將匹配的數(shù)字信息傳入該函數(shù)，對每一個(gè)學(xué)號進(jìn)行提取，并按比例放縮到0 ~ 255像素之間，也就是轉(zhuǎn)換成灰度值進(jìn)行顯示，將0 ~ 255劃分成10部分依次對應(yīng)數(shù)字0~10。

對應(yīng)的GUI界面如下：

七：使用神經(jīng)網(wǎng)絡(luò)進(jìn)行車牌識別

（1） 網(wǎng)絡(luò)訓(xùn)練

將已有的切割出的N個(gè)車牌字符作為輸入量，其對應(yīng)的正確的識別字符在licode中的索引值作為輸出值進(jìn)行網(wǎng)絡(luò)訓(xùn)練，首先我們需要挨個(gè)讀入字符照片（40x20），然后將其通過sum（：2）轉(zhuǎn)換為列向量。

這樣最終得到的40xN打的矩陣作為訓(xùn)練網(wǎng)絡(luò)的輸入值，其中N為訓(xùn)練的字符個(gè)數(shù)，調(diào)節(jié)好神經(jīng)網(wǎng)絡(luò)的參數(shù)后，對網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)進(jìn)行歸一化處理，并調(diào)用網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)訓(xùn)練。

將訓(xùn)練好的網(wǎng)絡(luò)通過save命令進(jìn)行保存，同時(shí)兩個(gè)歸一化參數(shù)也需要保存，供后續(xù)識別使用。

（2） 調(diào)用訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行車牌識別

其中BP_NET()函數(shù)用來調(diào)用訓(xùn)練好的網(wǎng)路進(jìn)行識別，其代碼見工程文件BP_NET.m，在BP_NET()函數(shù)中，首先要讀取訓(xùn)練好的網(wǎng)絡(luò)及歸一化變量，對讀入的每個(gè)切割出的字符要進(jìn)行處理。

將其轉(zhuǎn)換為40x1的列向量，每次車牌識別需要識別六個(gè)字符（魯字不識別），最終得到的40x6的數(shù)組作為輸入量進(jìn)行網(wǎng)絡(luò)預(yù)測，調(diào)用網(wǎng)絡(luò)進(jìn)行預(yù)測，將預(yù)測的車牌號作為返回量進(jìn)行輸出。

（3） 算法切換的實(shí)現(xiàn)

其中BP_NET()函數(shù)用來調(diào)用訓(xùn)練好的網(wǎng)路進(jìn)行識別，其代碼見工程文件BP_NET.m，在BP_NET()函數(shù)中，首先要讀取訓(xùn)練好的網(wǎng)絡(luò)及歸一化變量，對讀入的每個(gè)切割出的字符要進(jìn)行處理。

將其轉(zhuǎn)換為40x1的列向量，每次車牌識別需要識別六個(gè)字符（魯字不識別），最終得到的40x6的數(shù)組作為輸入量進(jìn)行網(wǎng)絡(luò)預(yù)測，調(diào)用網(wǎng)絡(luò)進(jìn)行預(yù)測，將預(yù)測的車牌號作為返回量進(jìn)行輸出。

通過GUI界面的一個(gè)按鈕組進(jìn)行算法的選擇與切換，如下所示：

審核編輯：郭婷