西安電子科技大學(xué)何剛團(tuán)隊(duì)在IJCAI 2024發(fā)布視頻人臉恢復(fù)研究新成果

近日，國(guó)際著名AI學(xué)術(shù)機(jī)構(gòu)CCF-A類頂尖會(huì)議IJCAI （International Joint Conference on Artificial Intelligence）發(fā)布了其2024年度論文名單，西安電子科技大學(xué)通信工程學(xué)院何剛教授帶領(lǐng)的研究團(tuán)隊(duì)發(fā)表了名為“Beyond Alignment： Blind Video Face Restoration via Parsing-Guided Temporal-Coherent Transformer”的優(yōu)秀科研成果，這項(xiàng)研究致力于開(kāi)發(fā)先進(jìn)的視頻人臉修復(fù)算法，以應(yīng)對(duì)低質(zhì)量視頻下人臉特征不清晰的問(wèn)題。

人臉恢復(fù)是一項(xiàng)通過(guò)提升圖像質(zhì)量來(lái)使面部特征更加清晰的技術(shù)，主要包括去模糊、去噪、恢復(fù)等步驟。而視頻人臉恢復(fù)則是將此技術(shù)應(yīng)用到視頻序列中，除了要處理每一幀的圖像質(zhì)量外，還需保持時(shí)間上的連續(xù)性和自然過(guò)渡，以確保視頻中人臉的動(dòng)態(tài)表現(xiàn)和質(zhì)量的一致性。

因此，算法必須能有效地處理視頻中的運(yùn)動(dòng)模糊、壓縮損失等問(wèn)題。近年來(lái)，人臉恢復(fù)技術(shù)得到了廣泛關(guān)注與研究，并已在工業(yè)界得到了廣泛應(yīng)用。

本次研究首次提出了一種全新的盲視頻人臉恢復(fù)方法——解析引導(dǎo)的時(shí)間一致性變換器（PGTFormer），旨在解決現(xiàn)有技術(shù)在處理低質(zhì)量視頻人臉時(shí)面臨的難題。

該方法無(wú)需預(yù)對(duì)齊即可恢復(fù)高保真的人臉細(xì)節(jié)，同時(shí)增強(qiáng)視頻中不同姿態(tài)變化的時(shí)間連貫性。此外，研究團(tuán)隊(duì)還引入了時(shí)間空間矢量量化自編碼器（TS-VQGAN）的預(yù)訓(xùn)練模型及時(shí)間解析引導(dǎo)的碼本預(yù)測(cè)器（TPCP），這些創(chuàng)新技術(shù)極大地提升了人臉恢復(fù)的效率和準(zhǔn)確性。