低亮度人臉檢測(cè)、附源碼——CVPR2021之 Low Light Face Detection【一文讀懂】

聲明:作為全網(wǎng) AI 領(lǐng)域 干貨最多的博主之一，?? 不負(fù)光陰不負(fù)卿 ??

10w+讀者

論文基本信息【 CVPR2021 】

• HLA-Face: Joint High-Low Adaptation for Low Light Face Detection
• 用于弱光人臉檢測(cè)的聯(lián)合高低自適應(yīng)算法

https://github.com/daooshee/HLA-Face-Code?github.com/daooshee/HLA-Face-Code

HLA-Face: Joint High-Low Adaptation for Low Light Face Detection?arxiv.org/abs/2104.01984

摘要翻譯

0. Abstract

微光下的人臉檢測(cè)對(duì)許多實(shí)際應(yīng)用來(lái)說(shuō)具有挑戰(zhàn)性，但卻至關(guān)重要，例如監(jiān)控視頻、夜間自動(dòng)駕駛。大多數(shù)現(xiàn)有的人臉探測(cè)器嚴(yán)重依賴(lài)于大量的注釋?zhuān)占瘮?shù)據(jù)是費(fèi)時(shí)費(fèi)力的。為了減少在弱光條件下建立新的數(shù)據(jù)集的負(fù)擔(dān)，我們充分利用現(xiàn)有的正常光數(shù)據(jù)，探索如何將人臉探測(cè)器從正常光適應(yīng)到弱光。這項(xiàng)任務(wù)的挑戰(zhàn)在于，對(duì)于像素級(jí)和物體級(jí)來(lái)說(shuō)，普通光和弱光之間的差距太大，太復(fù)雜。因此，大多數(shù)現(xiàn)有的低光增強(qiáng)和適應(yīng)方法并沒(méi)有達(dá)到理想的性能。為了解決這個(gè)問(wèn)題，我們提出了一個(gè)聯(lián)合高-低適配(HLA)框架。通過(guò)雙向的低水平適應(yīng)和多任務(wù)高水平適應(yīng)方案，我們的HLA-Face即使沒(méi)有使用黑色面孔標(biāo)簽進(jìn)行訓(xùn)練，也比最先進(jìn)的方法表現(xiàn)得更好。

1. Introduction

人臉檢測(cè)是許多視覺(jué)任務(wù)的基礎(chǔ)，已廣泛應(yīng)用于各種實(shí)際應(yīng)用中，如智慧城市智能監(jiān)控、人臉解鎖、手機(jī)美容濾鏡等。在過(guò)去的幾十年里，大量的研究在人臉檢測(cè)方面取得了很大的進(jìn)展。然而，在不利光照條件下的人臉檢測(cè)仍然具有挑戰(zhàn)性。在光照不足的情況下拍攝的圖像會(huì)遭受一系列的退化，例如低能見(jiàn)度、強(qiáng)烈的噪聲和色彩。這些退化不僅會(huì)影響人類(lèi)的視覺(jué)質(zhì)量，還會(huì)使機(jī)器視覺(jué)任務(wù)的性能惡化，在監(jiān)控視頻分析和夜間自動(dòng)駕駛中可能會(huì)產(chǎn)生潛在的風(fēng)險(xiǎn)。在圖1 (a)中，目前最先進(jìn)的人臉檢測(cè)器DSFD[1]很難檢測(cè)到光照不足的人臉，這與它在WIDER face[2]上超過(guò)90%的精度形成了直接對(duì)比。

為了促進(jìn)微光人臉檢測(cè)的研究，構(gòu)建了一個(gè)大尺度基準(zhǔn)DARK face[3]。暗臉數(shù)據(jù)的出現(xiàn)催生了大量的暗臉檢測(cè)研究[4]。然而，現(xiàn)有的方法依賴(lài)于廣泛的注釋?zhuān)虼私研院涂缮炜s性較差。

本文基于DARK FACE提供的標(biāo)桿平臺(tái)，探討了如何在不需要DARK FACE標(biāo)注的情況下，將普通光照人臉檢測(cè)模型適應(yīng)于微光場(chǎng)景。我們發(fā)現(xiàn)在正常光和弱光之間存在兩級(jí)間隙。一個(gè)是像素級(jí)外觀(guān)上的差距，如照明不足、相機(jī)噪音和顏色偏差。另一個(gè)是普通燈光場(chǎng)景和弱光場(chǎng)景之間的對(duì)象層次語(yǔ)義差異，包括但不限于路燈、汽車(chē)前照燈和廣告牌的存在。傳統(tǒng)的低光照增強(qiáng)方法(5、6)設(shè)計(jì)用于提高視覺(jué)質(zhì)量,因此不能填補(bǔ)語(yǔ)義空白,如圖1所示(b)。典型的適應(yīng)方法[7,8]主要為場(chǎng)景設(shè)計(jì)的兩個(gè)域共享相同的場(chǎng)景,如適應(yīng)從城市多霧的城市風(fēng)光[10][9]。但就我們的任務(wù)而言，領(lǐng)域差距更大，為適應(yīng)氣候變化提出了更艱巨的挑戰(zhàn)

為了適應(yīng)從正常光照到低光照，我們提出了一種高-低適應(yīng)人臉檢測(cè)框架(hlface)。我們考慮聯(lián)合低水平和高水平的適應(yīng)。具體來(lái)說(shuō)，對(duì)于低水平的適應(yīng)，典型的方法要么使暗圖像變亮，要么使亮圖像變暗。然而，由于域隙巨大，它們并沒(méi)有達(dá)到理想的性能。我們不是單向的低到正常或正常到低的翻譯，而是雙向地使兩個(gè)領(lǐng)域彼此走向?qū)Ψ?。通過(guò)使弱光圖像變亮，使正常光圖像失真，我們建立了介于正常和弱光之間的中間狀態(tài)。對(duì)于高階自適應(yīng)，我們使用多任務(wù)自監(jiān)督學(xué)習(xí)來(lái)縮小低階自適應(yīng)建立的中間狀態(tài)之間的特征距離。

通過(guò)結(jié)合低級(jí)和高級(jí)自適應(yīng)，即使我們不使用深色人臉的標(biāo)簽，我們也勝過(guò)最先進(jìn)的人臉檢測(cè)方法。

主要工作:

墨理學(xué)AI

2. Related Works

- Low Light Enhancement.

低照度是一種常見(jiàn)的視覺(jué)失真，可能由不良的拍攝條件、錯(cuò)誤的相機(jī)操作、設(shè)備故障等引起。關(guān)于低照度增強(qiáng)的文獻(xiàn)很多。 直方圖均衡化及其變體 [11] 擴(kuò)展了圖像的動(dòng)態(tài)范圍。 基于去霧的方法 [12] 將暗圖像視為倒置的模糊圖像。Retinex 理論假設(shè)圖像可以分解為光照和反射。 基于 Retinex 理論，大部分作品 [5, 13] 估計(jì)光照和反射率，然后單獨(dú)或同時(shí)處理每個(gè)組件。 最近的方法主要基于深度學(xué)習(xí)。 一些設(shè)計(jì)端到端的處理模型[14]，而一些則注入了傳統(tǒng)的思想，例如 Retinex 理論 [15,16,6]。 除了處理 8 位 RGB 圖像外，還有用于 RAW 圖像的模型 [17]。

問(wèn)題是這些方法主要是為人類(lèi)視覺(jué)而不是機(jī)器視覺(jué)設(shè)計(jì)的。 像素級(jí)調(diào)整如何有益于和指導(dǎo)高級(jí)任務(wù)尚未得到很好的探索。 在本文中，我們?yōu)樯钌四槞z測(cè)提供了相應(yīng)的解決方案。

- Face Detection.

早期的人臉檢測(cè)器依賴(lài)于手工制作的特征 [18]，現(xiàn)在這些特征被從數(shù)據(jù)驅(qū)動(dòng)的卷積神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)到的深度特征所取代。 繼承通用對(duì)象檢測(cè)，典型的人臉檢測(cè)器可以分為兩類(lèi)：兩階段和一階段。 兩階段模型 [19, 20] 首先生成區(qū)域提議，然后對(duì)其進(jìn)行細(xì)化以進(jìn)行最終檢測(cè)。 一階段模型 [21] 直接預(yù)測(cè)邊界框和置信度。 通用對(duì)象和人臉檢測(cè)之間的區(qū)別在于，在人臉檢測(cè)中，尺度變化通常要大得多。 現(xiàn)有方法通過(guò)多尺度圖像和特征金字塔 [22, 23] 或各種錨點(diǎn)采樣和匹配策略 [24, 25, 26] 解決了這個(gè)問(wèn)題。

盡管人臉檢測(cè)研究蓬勃發(fā)展，但現(xiàn)有模型很少考慮光照不足的場(chǎng)景。 在本文中，我們提出了一種暗臉檢測(cè)器，even without using dark annotations，其性能也優(yōu)于最先進(jìn)的方法。

- Dark Object Detection.

With the rapid development of deep learning, object detection has attracted more and more attention. However, few efforts have been made for dark objects. For RAW images, YOLO-in-the-Dark [27] merges models pre-trained in different domains using glue layers and a generative model. For RGB images, Loh et al. build the ExDark [28] dataset and analyze the low light images using both hand-crafted and learned features. DARK FACE [3] is a large-scale low light face dataset, giving birth to a series of dark face detectors in the UG2 Prize Challenge1 . However, most of these models highly rely on annotations, thus are of limited flexibility and robustness.

為了擺脫對(duì)標(biāo)簽的依賴(lài)，無(wú)監(jiān)督域適應(yīng)(Unsupervised Domain Adaptation, UDA)可能是一種簡(jiǎn)單的解決方案[8,29]。雖然UDA方法在許多應(yīng)用中已被證明是有效的，但由于正常和微光之間的巨大差距，這些方法在黑暗人臉檢測(cè)方面的性能有限。本文提出了一種結(jié)合低水平和高水平自適應(yīng)的較優(yōu)方法。

此處就不繼續(xù)有道翻譯了，了解到 該論文和代碼是用于 Low Light Face Detection 任務(wù)即可

墨理學(xué)AI

環(huán)境搭建

官方readME

經(jīng)測(cè)試 pytorch==1.4.0 一樣可以順利運(yùn)行該代碼，因此這里安裝的是 pytorch 1.4.0
torch 1.6.0 運(yùn)行 測(cè)試代碼 則會(huì)遇到一個(gè)小的報(bào)錯(cuò)

cat /etc/issue

Ubuntu 18.04.5 LTS n l

conda create -n torch14 python=3.6.6

conda activate torch14

conda install pytorch==1.4.0 torchvision==0.5.0 cudatoolkit=10.0 -c pytorch

pip install opencv-python

pip install scipy

pip install thop

pip install easydict

人臉檢測(cè)測(cè)試

模型準(zhǔn)備：

項(xiàng)目結(jié)構(gòu)如下

測(cè)試命令如下

python test.py 

# 或者指定 gpu 編號(hào)

CUDA_VISIBLE_DEVICES=3  python test.py 

GPU 占用 7539MiB

可視化檢測(cè)框

# 首先要正確設(shè)置 檢測(cè)圖像的 名字

vim draw_result.py +32

正確設(shè)置 檢測(cè)圖像的 名字

> 運(yùn)行命令如下

python draw_result.py 

- 效果如下
- 各位小伙伴，學(xué)會(huì)此文、可以換其他更有趣圖片進(jìn)行實(shí)驗(yàn)哈

可能遇到的報(bào)錯(cuò)：RuntimeError: CUDA out of memory

RuntimeError: CUDA out of memory. Tried to allocate 190.00 MiB (GPU 0; 15.75 GiB total capacity; 1.40 GiB already allocated; 144.31 MiB free; 1.84 GiB reserved in total by PyTorch)

> 解決方法，使用一塊閑置并且 超過(guò) 8G的顯卡 進(jìn)行測(cè)試即可

CUDA_VISIBLE_DEVICES=3  python test.py 

nvidia-smi

此次運(yùn)行源碼+模型+論文

按照此次博文環(huán)境搭建教程，即可運(yùn)行成功
倘若鏈接失效、請(qǐng)?jiān)u論區(qū)告知

鏈接：https://pan.baidu.com/s/1zt6j8uQDcj68W5U-0WYCNA 
提取碼：nice

訓(xùn)練 【這里就不展開(kāi)啦】

官方該代碼訓(xùn)練文檔 -- 已經(jīng)足夠清晰?github.com/daooshee/HLA-Face-Code/tree/main/train_code

訓(xùn)練數(shù)據(jù)集準(zhǔn)備

魔法加速-即可下載

?? 歡迎和墨理一起學(xué)AI

點(diǎn)贊 收藏 ?留言 都是博主堅(jiān)持寫(xiě)作、更新高質(zhì)量博文的最大動(dòng)力！

各種技術(shù)Club : 計(jì)算機(jī)視覺(jué)、超分重建、圖像修復(fù)、目標(biāo)檢測(cè)、模型部署等方向小伙伴可簡(jiǎn)單交流

審核編輯 黃宇