機器學(xué)習(xí)識別驗證碼技巧來了

寫爬蟲有一個繞不過去的問題就是驗證碼，現(xiàn)在驗證碼分類大概有4種：

圖像類

滑動類

點擊類

語音類

今天先來看看圖像類，這類驗證碼大多是數(shù)字、字母的組合，國內(nèi)也有使用漢字的。在這個基礎(chǔ)上增加噪點、干擾線、變形、重疊、不同字體顏色等方法來增加識別難度。相應(yīng)的，驗證碼識別大體可以分為下面幾個步驟：

灰度處理

增加對比度(可選)

二值化

降噪

傾斜校正分割字符

建立訓(xùn)練庫

識別

由于是實驗性質(zhì)的，文中用到的驗證碼均為程序生成而不是批量下載真實的網(wǎng)站驗證碼，這樣做的好處就是可以有大量的知道明確結(jié)果的數(shù)據(jù)集。當(dāng)需要真實環(huán)境下需要獲取數(shù)據(jù)時，可以使用結(jié)合各個大碼平臺來建立數(shù)據(jù)集進行訓(xùn)練。

生成驗證碼這里我使用Claptcha這個庫，當(dāng)然Captcha這個庫也是個不錯的選擇。

為了生成最簡單的純數(shù)字、無干擾的驗證碼，首先需要將claptcha.py的285行_drawLine做一些修改，我直接讓這個函數(shù)返回None，然后開始生成驗證碼：

這里需要注意ubuntu的字體路徑，也可以在網(wǎng)上下載其他字體使用。生成驗證碼如下：

可以看出，驗證碼有形變。對于這類最簡單的驗證碼，可以直接使用谷歌開源的tesserocr來識別。

首先安裝：

然后開始識別：

可以看出，對于這種簡單的驗證碼，基本什么都不做識別率就已經(jīng)很高了。有興趣的小伙伴可以用更多的數(shù)據(jù)來測試，這里我就不展開了。

接下來，在驗證碼背景添加噪點來看看：

生成驗證碼如下：

識別：

效果還可以。接下來生成一個字母數(shù)字組合的：

生成驗證碼如下：

第3個為小寫字母o，第4個為大寫字母O，第5個為數(shù)字0，第6個為小寫字母z，第7個為大寫字母Z，最后一個是數(shù)字2。人眼已經(jīng)跪了有木有！但現(xiàn)在一般驗證碼對大小寫是不做嚴(yán)格區(qū)分的，看自動識別什么樣吧：

人眼都跪的計算機當(dāng)然也廢了。但是，對于一些干擾小、形變不嚴(yán)重的，使用tesserocr還是十分簡單方便的。然后將修改的claptcha.py的285行_drawLine還原，看添加干擾線的情況。

加了條干擾線就完全識別不出來了，那么有沒有什么辦法去除干擾線呢？

雖然圖片看上去是黑白的，但還需要進行灰度處理，否則使用load()函數(shù)得到的是某個像素點的RGB元組而不是單一值了。處理如下：

處理后的圖片如下：

可以看出處理后圖片銳化了很多，接下來嘗試去除干擾線，常見的4鄰域、8鄰域算法。所謂的X鄰域算法，可以參考手機九宮格輸入法，按鍵5為要判斷的像素點，4鄰域就是判斷上下左右，8鄰域就是判斷周圍8個像素點。如果這4或8個點中255的個數(shù)大于某個閾值則判斷這個點為噪音，閾值可以根據(jù)實際情況修改。

處理后的圖片如下：

好像……根本沒卵用?。?！確實是這樣的，因為示例中的圖片干擾線的寬度和數(shù)字是一樣的。對于干擾線和數(shù)據(jù)像素不同的，比如Captcha生成的驗證碼：

從左到右依次是原圖、二值化、去除干擾線的情況，總體降噪的效果還是比較明顯的。另外降噪可以多次執(zhí)行，比如我對上面的降噪后結(jié)果再進行依次降噪，可以得到下面的效果：

再進行識別得到了結(jié)果：

另外，從圖片來看，實際數(shù)據(jù)顏色明顯和噪點干擾線不同，根據(jù)這一點可以直接把噪點全部去除，這里就不展開說了。

第一篇文章，先記錄如何將圖片進行灰度處理、二值化、降噪，并結(jié)合tesserocr來識別簡單的驗證碼，剩下的部分在下一篇文章中和大家一起分享。