基于特征融合等的視覺場景圖生成模型

　　視覺場景理解不僅可以孤立地識(shí)別單個(gè)物體，還可以得到不同物體之間的相互作用關(guān)系。場景圖可以獲取所有的（主語ˉ謂詞-賓語）信息來描述圖像內(nèi)部的對(duì)象關(guān)系，在場景理解任務(wù)中應(yīng)用廣泛。然而，大部分已有的場景圖生成模型結(jié)構(gòu)復(fù)雜推理速度慢、準(zhǔn)確率低，不能在現(xiàn)實(shí)情況下直接使用。因此，在 Factorizable Net的基礎(chǔ)上提岀了一種結(jié)合注意力機(jī)制與特征融合的場景圖生成模型。首先把整個(gè)圖片分解為若干個(gè)子圖，每個(gè)子圖包含多個(gè)對(duì)象及對(duì)象間的關(guān)系;然后在物體特征中融合其位置和形狀信息，并利用注意力機(jī)制實(shí)現(xiàn)物體特征和子圖特征之間的消息傳遞;最后根據(jù)物體特征和子圖特征分別進(jìn)行物體分類和物體間關(guān)系推斷。實(shí)驗(yàn)結(jié)果表眀明，在多個(gè)視覺關(guān)系檢測數(shù)據(jù)集上，該模型視覺關(guān)系檢測的準(zhǔn)確率為22.78%~25.41%，場景圖生成的準(zhǔn)確率為16.39%~22.75%，比 Factorizable Net分別提升了1.2%和1.8%;并且利用一塊GTX1080Ti顯卡可以在0.6s之內(nèi)實(shí)現(xiàn)對(duì)一幅圖像的物體和物體間的關(guān)系進(jìn)行檢測。實(shí)驗(yàn)數(shù)據(jù)充分說明，采用子圖結(jié)構(gòu)眀顯減少了需要進(jìn)行關(guān)系推斷的圖像區(qū)域數(shù)量，利用特征融合方法和基于注意力杋制的消息傳遞杌制提升了深度特征的表現(xiàn)能力，可以更快速準(zhǔn)確地預(yù)測對(duì)象及其關(guān)系，從而有效解決了傳統(tǒng)的場景圖生成模型時(shí)效性差、準(zhǔn)確度低的難題。