人工智能在影像升級(jí)中的關(guān)鍵作用

從我們的智能手機(jī)到監(jiān)控?cái)z像頭，人工智能在將模糊、顆粒狀的照片轉(zhuǎn)化為高分辨率照片方面做得越來(lái)越好。

這些改進(jìn)背后的秘密是一對(duì)被稱(chēng)為人工智能超分辨率和人工智能升級(jí)的技術(shù)，在這兩種技術(shù)中，人工智能模型在巨大的數(shù)據(jù)集上進(jìn)行訓(xùn)練，可以提升模糊圖像的質(zhì)量或增加其分辨率。

IEEE會(huì)員Yale Fox表示：“由于幾項(xiàng)關(guān)鍵技術(shù)的進(jìn)步，人工智能的升級(jí)在這些年里有了顯著的提高。其中一個(gè)進(jìn)步是遷移學(xué)習(xí)，它允許開(kāi)發(fā)人員將預(yù)先訓(xùn)練好的模型用于新任務(wù)，大大提高了升級(jí)的速度和準(zhǔn)確性。另一個(gè)關(guān)鍵發(fā)展是大型圖像數(shù)據(jù)集的可用性，這對(duì)于訓(xùn)練深度學(xué)習(xí)算法識(shí)別和生成高質(zhì)量圖像至關(guān)重要?！?/p>

Fox表示，圖形處理單元（GPU）的進(jìn)步也改善了這項(xiàng)技術(shù)。

“GPU和深度學(xué)習(xí)的結(jié)合對(duì)于使人工智能更快、更高效地升級(jí)也至關(guān)重要。GPU可以同時(shí)處理大量數(shù)據(jù)，從而實(shí)現(xiàn)更快的訓(xùn)練和推理?！?/p>

許多智能手機(jī)使用人工智能升級(jí)來(lái)提高照片的質(zhì)量和分辨率。但這項(xiàng)技術(shù)也在其他領(lǐng)域有應(yīng)用，包括醫(yī)療、衛(wèi)星和娛樂(lè)行業(yè)。

衛(wèi)星成像：近年來(lái)，發(fā)射到軌道上的衛(wèi)星數(shù)量激增。發(fā)射更小、更輕的衛(wèi)星變得更容易、更便宜。但較小的衛(wèi)星可能無(wú)法像較大的衛(wèi)星那樣攜帶昂貴的高分辨率相機(jī)。正如IEEE Xplore的這篇文章（https://ieeexplore.ieee.org/document/9757881）所示，人工智能超分辨率使較小的衛(wèi)星能夠用較小的相機(jī)捕捉更好的圖像。

天氣預(yù)報(bào)：一些氣象衛(wèi)星監(jiān)視著地球的大部分地區(qū)。他們拍攝的照片可能只顯示了幾平方英里大小的細(xì)節(jié)。IEEE Access的一篇文章（https://ieeexplore.ieee.org/document/9001044）描述了一種教低分辨率氣象衛(wèi)星如何拍攝更好照片的系統(tǒng)。它通過(guò)使用舊的天氣和氣候數(shù)據(jù)來(lái)做到這一點(diǎn)，這有助于提高這些大面積氣象衛(wèi)星的圖片質(zhì)量。

視頻會(huì)議：通過(guò)筆記本電腦甚至手機(jī)傳輸?shù)膶?shí)時(shí)視頻使用了大量的互聯(lián)網(wǎng)帶寬。幾十年來(lái)，這些服務(wù)一直依靠音頻和視頻編解碼器來(lái)壓縮和解壓縮數(shù)據(jù)流（https://spectrum.ieee.org/ai-video-codecs-waveone）。這些編解碼器中的許多都有幾十年的歷史，是在互聯(lián)網(wǎng)速度慢得多的時(shí)候開(kāi)發(fā)的。

Fox說(shuō)：“最先進(jìn)的算法現(xiàn)在只需要一個(gè)人的一張高分辨率照片，然后相機(jī)跟蹤他們的面部肌肉是如何運(yùn)動(dòng)的，以創(chuàng)建一種深度偽造的圖像。這意味著帶寬和文件大小減少了近800倍，這對(duì)視頻通話等應(yīng)用程序至關(guān)重要。這是一個(gè)巨大的增長(zhǎng)，它確實(shí)稍微進(jìn)行了改變?！?/p>

視頻游戲和流媒體視頻：與在線視頻會(huì)議一樣，圖像放大在視頻游戲中產(chǎn)生了巨大影響。IEEE Spectrum（https://spectrum.ieee.org/ai-graphics-neural-rendering）的一份報(bào)告顯示，對(duì)于一些圖形密集的視頻游戲，每八個(gè)像素中就有七個(gè)是由人工智能生成的，因此速度快了530%。對(duì)于如何將超分辨率技術(shù)應(yīng)用于點(diǎn)播視頻流，也有重要的研究（https://ieeexplore.ieee.org/document/10019712）。

醫(yī)學(xué)成像：超分辨率技術(shù)在醫(yī)學(xué)領(lǐng)域有著廣泛的應(yīng)用。許多醫(yī)學(xué)圖像，如X射線和MRI掃描，由于各種因素，包括掃描時(shí)間長(zhǎng)度和設(shè)備的限制，分辨率較低。例如，提高腫瘤周?chē)⑿⊙艿姆直媛士梢詭椭┌Y的識(shí)別和治療（https://ieeexplore.ieee.org/document/8854062）。超分辨率還可以改善胎兒的成像，因?yàn)樘和鶗?huì)四處移動(dòng)，使成像變得困難。

那么，是什么讓這些技術(shù)變得更好呢？

IEEE高級(jí)會(huì)員Fabrizzio Soares說(shuō)，更好的訓(xùn)練數(shù)據(jù)。

Soares說(shuō)：“值得一提的是，這些算法依賴(lài)于圖像中先前的知識(shí)，因此提供的樣本越多，模型就越準(zhǔn)確。但建立最完整的圖像數(shù)據(jù)庫(kù)是一個(gè)難題。此外，提供的樣本越多，模型就越大。因此，訓(xùn)練和維護(hù)模型需要付出更大的努力。”

審核編輯：黃飛