細粒度圖像識別深度學習開源工具庫Hawkeye解析

細粒度圖像識別是視覺感知學習的重要研究課題，在智能新經(jīng)濟和工業(yè)互聯(lián)網(wǎng)等方面具有巨大應用價值，且在諸多現(xiàn)實場景已有廣泛應用…… 鑒于當前領域內(nèi)尚缺乏該方面的深度學習開源工具庫，南京理工大學魏秀參教授團隊用時近一年時間，開發(fā)、打磨、完成了 Hawkeye——細粒度圖像識別深度學習開源工具庫，供相關領域研究人員和工程師參考使用。本文是對 Hawkeye 的詳細介紹。

目錄

1. 什么是 Hawkeye 庫

2. Hawkeye 支持的模型及方法

3. 安裝 Hawkeye

4. 使用 Hawkeye 訓練模型

1. 什么是 Hawkeye 庫

Hawkeye 是一個基于 PyTorch 的細粒度圖像識別深度學習工具庫，專為相關領域研究人員和工程師設計。目前，Hawkeye 包含多種代表性范式的細粒度識別方法，包括 “基于深度濾波器”、“基于注意力機制”、“基于高階特征交互”、“基于特殊損失函數(shù)”、“基于網(wǎng)絡數(shù)據(jù)” 以及其他方法。

Hawkeye 項目代碼風格良好，結構清晰易讀，可拓展性較強。對于剛接觸細粒度圖像識別領域的相關人員而言，Hawkeye 較易上手，便于其理解細粒度圖像識別的主要流程和代表性方法，同時也方便在本工具庫上快速實現(xiàn)自己的算法。此外，我們還給出了庫中各模型的訓練示例代碼，自研方法也可按照示例快速適配并添加至 Hawkeye 中。

Hawkeye 開源庫鏈接：https://github.com/Hawkeye-FineGrained/Hawkeye

2. Hawkeye 支持的模型及方法

Hawkeye 目前支持細粒度圖像識別中主要學習范式的共 16 個模型與方法，具體如下：

基于深度濾波器

S3N (ICCV 2019)

Interp-Parts (CVPR 2020)

ProtoTree (CVPR 2021)

基于注意力機制

OSME+MAMC (ECCV 2018)

MGE-CNN (ICCV 2019)

APCNN (IEEE TIP 2021)

基于高階特征交互

BCNN (ICCV 2015)

CBCNN (CVPR 2016)

Fast MPN-COV (CVPR 2018)

基于特殊損失函數(shù)

Pairwise Confusion (ECCV 2018)

API-Net (AAAI 2020)

CIN (AAAI 2020)

基于網(wǎng)絡數(shù)據(jù)

Peer-Learning (ICCV 2021)

其他方法

NTS-Net (ECCV 2018)

CrossX (ICCV 2019)

DCL (CVPR 2019)

3. 安裝 Hawkeye

安裝依賴

使用 conda 或者 pip 安裝相關依賴：

Python 3.8

PyTorch 1.11.0 or higher

torchvison 0.12.0 or higher

numpy

yacs

tqdm

克隆倉庫：

git clone https://github.com/Hawkeye-FineGrained/Hawkeye.git

cd Hawkeye

準備數(shù)據(jù)集

首先，下載一個數(shù)據(jù)集(以 CUB200 為例)：

cd Hawkeye/data

wget https://data.caltech.edu/records/65de6-vp158/files/CUB_200_2011.tgz

mkdir bird && tar -xvf CUB_200_2011.tgz -C bird/

我們提供了上述 8 個數(shù)據(jù)集的 meta-data 文件，能夠匹配庫中的 FGDataset 方便地加載訓練集和測試集，訓練集和測試集為各個數(shù)據(jù)集官方提供的劃分。使用不同數(shù)據(jù)集時，只需在實驗的 config 文件中修改 dataset 配置即可，方便切換。

在實驗的 config 文件中修改 dataset 配置，示例如下：

dataset:

name: cub

root_dir: data/bird/CUB_200_2011/images

meta_dir: metadata/cub

4. 使用 Hawkeye 訓練模型

對于 Hawkeye 支持的每個方法，我們均提供了單獨的訓練模板和配置文件。例如訓練 APINet 只需一條命令：

python Examples/APINet.py --config configs/APINet.yaml

實驗的參數(shù)都在相應的 yaml 文件中，可讀性高、便于修改，如：

experiment:
name: API_res101 2        # 實驗名稱
  log_dir: results/APINet   # 實驗日志、結果等的輸出目錄
  seed: 42                  # 可以選擇固定的隨機數(shù)種子
#  resume: results/APINet/API_res101 2/checkpoint_epoch_19.pth    # 可以從訓練中斷的 checkpoint 中恢復訓練
dataset:
  name: cub          # 使用 CUB200 數(shù)據(jù)集
  root_dir: data/bird/CUB_200_2011/images   # 數(shù)據(jù)集中圖像放置的路徑
  meta_dir: metadata/cub                  # CUB200 的 metadata 路徑
  n_classes: 10         # 類別數(shù)，APINet 需要的數(shù)據(jù)集
  n_samples: 4          # 每個類別的樣本數(shù)
  batch_size: 24        # 測試時的批樣本數(shù)
  num_workers: 4      # Dataloader 加載數(shù)據(jù)集的線程數(shù)
  transformer:        # 數(shù)據(jù)增強的參數(shù)配置
    image_size: 224      # 圖像輸入模型的尺寸 224x224
    resize_size: 256    # 圖像增強前縮放的尺寸 256x256
model:
  name: APINet        # 使用 APINet 模型，見 `model/methods/APINet.py`
  num_classes: 200      # 類別數(shù)目
#  load: results/APINet/API_res101 1/best_model.pth     # 可以加載訓練過的模型參數(shù)
train:
  cuda: [4]          # 使用的 GPU 設備 ID 列表，[] 時使用 CPU
  epoch: 100        # 訓練的 epoch 數(shù)量
  save_frequence: 10    # 自動保存模型的頻率
#  val_first: False      # 可選是否在訓練前進行一次模型精度的測試
  optimizer:
    name: Adam        # 使用 Adam 優(yōu)化器
    lr: 0.0001        # 學習率為 0.0001
    weight_decay: 0.00000002
  scheduler:
    # 本例使用自定義組合的 scheduler，由 warmup 和余弦退火學習率組合而成，見 `Examples/APINet.py`
    name: ''
    T_max: 100        # scheduler 的總迭代次數(shù)
    warmup_epochs: 8    # warmup 的 epoch 數(shù)
    lr_warmup_decay: 0.01  # warmup 衰減的比例
  criterion:
    name: APINetLoss    # APINet 使用的損失函數(shù)，見 `model/loss/APINet_loss.py`

實驗的主程序 Examples/APINet.py 中的訓練器 APINetTrainer 繼承自 Trainer，不需要再寫復雜的訓練流程、logger、模型保存、配置加載等代碼，只用按需修改部分模塊即可。我們也提供了訓練階段的多個 hook 鉤子，可以滿足一些方法特別的實現(xiàn)方式。

日志文件、模型權重文件、訓練使用的訓練代碼以及當時的配置文件都會保存在實驗輸出目錄 log_dir 中，備份配置和訓練代碼便于日后對不同實驗進行對比。

審核編輯：郭婷