YOLOv5 Callback機制解讀

前言

代碼倉庫地址：https://github.com/Oneflow-Inc/one-yolov5歡迎star one-yolov5項目 獲取最新的動態(tài)。如果您有問題，歡迎在倉庫給我們提出寶貴的意見。如果對您有幫助，歡迎來給我Star呀~

源碼解讀：https://github.com/Oneflow-Inc/one-yolov5/blob/main/utils/callbacks.py 。文章里面的超鏈接可能被公眾號吃掉，可以考慮到我們的文檔網站閱讀獲得更好的體驗：https://start.oneflow.org/oneflow-yolo-doc/source_code_interpretation/callbacks_py.html

這個文件是yolov5的Callback utils

鉤子

hook(鉤子)是一個編程機制，與語言無關，通常用于在不修改原始代碼的情況下，捕獲或替換程序的一些函數或API調用。

個人觀點：鉤子是指將代碼插入到其他代碼的執(zhí)行流程中的技術，從而實現在執(zhí)行原有代碼之前或之后執(zhí)行額外代碼的目的，下面是一個簡單demo。

defhook_function(original_function):
#定義鉤子函數
defnew_function(*args,**kwargs):
print("Beforeoriginalfunction")
result=original_function(*args,**kwargs)
print("Afteroriginalfunction")
returnresult

returnnew_function

@hook_function
deforiginal_function():
#@hook_function(python語法)等價于hook_function(original_function)
print("Originalfunction")

if__name__=="__main__":
original_function()

Beforeoriginalfunction
Originalfunction
Afteroriginalfunction

回調函數

來源網絡的例子，有一家旅館提供叫醒服務，但是要求旅客自己決定叫醒的方法。可以是打客房電話，也可以是派服務員去敲門，睡得死怕耽誤事的，還可以要求往自己頭上澆盆水。這里，“叫醒”這個行為是旅館提供的，相當于庫函數，但是叫醒的方式是由旅客決定并告訴旅館的，也就是回調函數。而旅客告訴旅館怎么叫醒自己的動作，也就是把回調函數傳入庫函數的動作，稱為登記回調函數（to register a callback function）。如下圖所示（圖片來源：維基百科）：

從上圖可以看到，回調函數通常和應用處于同一抽象層（因為傳入什么樣的回調函數是在應用級別決定的）。而回調就成了一個高層調用底層，底層再回過頭來調用高層的過程。

簡單來說：

• 一般函數：function a(int a, String b)，接收的參數是一般類型。
• 特殊函數：function b(function c)，接收的參數是一個函數，c這個函數就叫回調函數。

個人觀點：回調函數是指在代碼中被調用的一個函數，它會對其他代碼的執(zhí)行造成影響，并在適當的時間進行回調，下面是一個簡單demo。

defcallback_function(input_data):
#在回調函數中處理輸入數據
print("Inputdata:",input_data)

defmain(callback):
#調用回調函數
callback("HelloWorld")

if__name__=="__main__":
main(callback_function)

Inputdata:HelloWorld

總之，鉤子和回調函數是實現代碼間通信和協作的不同技術，它們都可以用于實現代碼級別的自定義行為，只是函數的觸發(fā)時機有差異。

hook實現例子

hook函數是程序中預定義好的函數，這個函數處于原有程序流程當中（暴露一個鉤子出來）。我們需要再在有流程中鉤子定義的函數塊中實現某個具體的細節(jié)，需要把我們的實現，掛接或者注冊（register）到鉤子里，使得hook函數對目標可用。

hook函數最常使用在某種流程處理當中。這個流程往往有很多步驟。hook函數常常掛載在這些步驟中，為增加額外的一些操作，提供靈活性。

下面舉一個簡單的例子，這個例子的目的是實現一個通過鉤子調用函數判斷字符串是否是"good"

#YOLOv5byUltralytics,GPL-3.0license
"""
Callbackutils
"""
classCallbacks:
""""
HandlesallregisteredcallbacksforYOLOv5Hooks
"""

def__init__(self):
#Definetheavailablecallbacks
self._callbacks={
"on_pretrain_routine_start":[],
}
self.stop_training=False#setTruetointerrupttraining

defregister_action(self,hook,name="",callback=None):
"""
Registeranewactiontoacallbackhook

Args:
hook:Thecallbackhooknametoregistertheactionto要向其注冊操作的回調鉤子名稱
name:Thenameoftheactionforlaterreference動作的名稱，供以后參考
callback:Thecallbacktofire對fire的回調
"""
asserthookinself._callbacks,f"hook'{hook}'notfoundincallbacks{self._callbacks}"
assertcallable(callback),f"callback'{callback}'isnotcallable"
self._callbacks[hook].append({"name":name,"callback":callback})

defget_registered_actions(self,hook=None):
""""
Returnsalltheregisteredactionsbycallbackhook

Args:
hook:Thenameofthehooktocheck,defaultstoall
"""
returnself._callbacks[hook]ifhookelseself._callbacks

defrun(self,hook,*args,**kwargs):
"""
Loopthroughtheregisteredactionsandfireallcallbacks

Args:
hook:Thenameofthehooktocheck,defaultstoall
args:ArgumentstoreceivefromYOLOv5
kwargs:KeywordArgumentstoreceivefromYOLOv5
"""

asserthookinself._callbacks,f"hook'{hook}'notfoundincallbacks{self._callbacks}"

forloggerinself._callbacks[hook]:
logger["callback"](*args,**kwargs)

defon_pretrain_routine_start(good:str):
ifgood=="good":
print("isgood!")
else:
print("isbad!")

#初始化Callbacks對象
callbacks=Callbacks()
#要向其注冊操作的回調鉤子名稱
callbacks.register_action(hook="on_pretrain_routine_start",name="ss",callback=on_pretrain_routine_start)
#調用hook
callbacks.run("on_pretrain_routine_start","good")
#打印hook信息
callbacks.get_registered_actions("on_pretrain_routine_start")

is good





[{'name': 'ss',
  'callback': }]

yolov5項目中

在yolov5訓練流程中，hook函數體現在一個訓練過程(不包括數據準備)，會輪詢多次訓練集，每次稱為一個epoch，每個epoch又分為多個batch來訓練。流程先后拆解成:

• 開始訓練
• 訓練一個epoch前
• 訓練一個batch前
• 訓練一個batch后
• 訓練一個epoch后。
• 評估驗證集
• 結束訓練

這些步驟是穿插在訓練一個batch數據的過程中，這些可以理解成是鉤子函數，我們可能需要在這些鉤子函數中實現一些定制化的東西，比如在訓練一個epoch后我們要保存下訓練的損失。

#在train.py中hook注冊操作代碼
#Registeractions
forkinmethods(loggers):
callbacks.register_action(k,callback=getattr(loggers,k))

#YOLOv5byUltralytics,GPL-3.0license
"""
Callbackutils
"""


classCallbacks:
""""
HandlesallregisteredcallbacksforYOLOv5Hooks
"""

def__init__(self):
#Definetheavailablecallbacks
#定義些回調函數，函數實現在utils/loggers/__init__.py
#github鏈接:https://github.com/Oneflow-Inc/one-yolov5/blob/main/utils/loggers/__init__.py
self._callbacks={
"on_pretrain_routine_start":[],
#https://github.com/Oneflow-Inc/one-yolov5/blob/88864544cd9fa9ddcbe35a28a0bcf2c674daeb97/utils/loggers/__init__.py#L118
"on_pretrain_routine_end":[],
"on_train_start":[],
"on_train_epoch_start":[],
"on_train_batch_start":[],
"optimizer_step":[],
"on_before_zero_grad":[],
"on_train_batch_end":[],
"on_train_epoch_end":[],
"on_val_start":[],
"on_val_batch_start":[],
"on_val_image_end":[],
"on_val_batch_end":[],
"on_val_end":[],
"on_fit_epoch_end":[],#fit=train+val
"on_model_save":[],
"on_train_end":[],
"on_params_update":[],
"teardown":[],
}
self.stop_training=False#setTruetointerrupttraining

defregister_action(self,hook,name="",callback=None):
"""
Registeranewactiontoacallbackhook

Args:
hook:Thecallbackhooknametoregistertheactionto
name:Thenameoftheactionforlaterreference
callback:Thecallbacktofire
"""
asserthookinself._callbacks,f"hook'{hook}'notfoundincallbacks{self._callbacks}"
assertcallable(callback),f"callback'{callback}'isnotcallable"
self._callbacks[hook].append({"name":name,"callback":callback})

defget_registered_actions(self,hook=None):
""""
Returnsalltheregisteredactionsbycallbackhook

Args:
hook:Thenameofthehooktocheck,defaultstoall
"""
returnself._callbacks[hook]ifhookelseself._callbacks

defrun(self,hook,*args,**kwargs):
"""
Loopthroughtheregisteredactionsandfireallcallbacks

Args:
hook:Thenameofthehooktocheck,defaultstoall
args:ArgumentstoreceivefromYOLOv5
kwargs:KeywordArgumentstoreceivefromYOLOv5
"""

asserthookinself._callbacks,f"hook'{hook}'notfoundincallbacks{self._callbacks}"

forloggerinself._callbacks[hook]:
logger["callback"](*args,**kwargs)