基于大模型的遙感圖像變化檢測(cè)新網(wǎng)絡(luò)

01

/導(dǎo)讀/

變化檢測(cè)是遙感領(lǐng)域的一個(gè)重要研究領(lǐng)域，對(duì)于觀察和分析地表變化起著關(guān)鍵作用。盡管基于深度學(xué)習(xí)的方法在該領(lǐng)域取得了顯著的成果，但在時(shí)空復(fù)雜的遙感場(chǎng)景中執(zhí)行高精度的變化檢測(cè)仍然是一個(gè)重大挑戰(zhàn)。最近流行的基礎(chǔ)模型，憑借其強(qiáng)大的通用能力和泛化能力，為該問(wèn)題提供了潛在的解決方案。然而，如何彌補(bǔ)不同數(shù)據(jù)域和任務(wù)域之間的鴻溝仍然是一個(gè)挑戰(zhàn)。在本文中，作者介紹了一種名為“時(shí)空旅行”（TTP）的新方法，該方法將SAM基礎(chǔ)模型的通用知識(shí)整合到變化檢測(cè)任務(wù)中。該方法有效地解決了在通用知識(shí)轉(zhuǎn)移中的領(lǐng)域偏移問(wèn)題，以及大模型在表達(dá)多時(shí)相圖像同質(zhì)性和異質(zhì)性特征時(shí)的挑戰(zhàn)。在LEVIR-CD上取得的SOTA結(jié)果證明了TTP的有效性。

02

/引言/

隨著對(duì)地觀測(cè)技術(shù)的發(fā)展，遙感圖像變化檢測(cè)已經(jīng)成為該領(lǐng)域研究的前沿和熱點(diǎn)。其主要目標(biāo)是分析多時(shí)相遙感產(chǎn)品中感興趣的變化，這些變化通常表現(xiàn)為像素級(jí)的二元分類（變化/未變化）。遙感地面的動(dòng)態(tài)屬性不僅受自然因素的影響，也受人類活動(dòng)的影響。精確感知這些變化對(duì)于土地覆蓋的定量分析具有極其重要的意義，可以作為描繪宏觀經(jīng)濟(jì)趨勢(shì)、人類活動(dòng)和氣候變化的有力工具。

高分辨率遙感圖像已經(jīng)成為復(fù)雜變化檢測(cè)的有力工具。然而，在復(fù)雜場(chǎng)景中執(zhí)行穩(wěn)健的變化檢測(cè)仍然是一個(gè)艱巨的挑戰(zhàn)。變化檢測(cè)聚焦“非語(yǔ)義變化”中的“有效變化”，即，由大氣條件、遙感器、配準(zhǔn)等引起的非語(yǔ)義變化，以及與下游應(yīng)用無(wú)關(guān)的語(yǔ)義變化都應(yīng)該被忽略。這對(duì)開展精準(zhǔn)的變化檢測(cè)任務(wù)提出了相當(dāng)大的挑戰(zhàn)。深度學(xué)習(xí)技術(shù)在變化檢測(cè)領(lǐng)域取得了顯著的進(jìn)步。例如，基于CNN的算法可以通過(guò)其強(qiáng)大的特征提取能力揭示變化區(qū)域的穩(wěn)健特征，從而在各種復(fù)雜場(chǎng)景中取得了令人印象深刻的性能。最近，基于Transformer的方法進(jìn)一步加速了這個(gè)領(lǐng)域的發(fā)展，Transformer可以捕捉整個(gè)圖像中的長(zhǎng)距離依賴關(guān)系，賦予模型全局感受野，為需要高級(jí)語(yǔ)義知識(shí)的任務(wù)（如變化檢測(cè)）開辟了新的途徑。盡管這些方法取得了顯著的成功，但它們?cè)趶?fù)雜和不斷變化的時(shí)空環(huán)境中的適應(yīng)性仍然距離實(shí)際應(yīng)用有相當(dāng)大的距離。此外，隨著模型規(guī)模的擴(kuò)大，變化檢測(cè)有限的標(biāo)注數(shù)據(jù)也顯著限制了這些模型的潛力。雖然自監(jiān)督表示學(xué)習(xí)和模擬數(shù)據(jù)生成等取得了一些進(jìn)展，但它們?nèi)匀粺o(wú)法完全覆蓋由時(shí)空變化引起的遙感圖像場(chǎng)景的多樣性。也無(wú)法推動(dòng)大參數(shù)模型在不同場(chǎng)景中的性能。

基礎(chǔ)模型強(qiáng)大的通用性和適應(yīng)性已經(jīng)得到了證明。這些模型在大量數(shù)據(jù)上進(jìn)行訓(xùn)練，從而獲得了通用的知識(shí)和表示。視覺(jué)領(lǐng)域的基礎(chǔ)模型，如CLIP和SAM，已經(jīng)被研究人員廣泛研究和利用。這些模型是大量通用知識(shí)的存儲(chǔ)庫(kù)，可以進(jìn)行跨領(lǐng)域的轉(zhuǎn)移和共享，能夠大大減少特定任務(wù)標(biāo)注數(shù)據(jù)的需求。然而，當(dāng)前的視覺(jué)基礎(chǔ)模型主要是為自然圖像設(shè)計(jì)的，這些模型用于遙感圖像變化檢測(cè)任務(wù)時(shí)會(huì)產(chǎn)生領(lǐng)域差異。此外，大多數(shù)視覺(jué)基礎(chǔ)模型擅長(zhǎng)理解單個(gè)圖像，在提取多個(gè)圖像同質(zhì)性和異質(zhì)性特征的方面表現(xiàn)不佳，特別是當(dāng)圖像中發(fā)生顯著變化時(shí)，而這種能力對(duì)于變化檢測(cè)來(lái)說(shuō)是至關(guān)重要的。

本文將視覺(jué)基礎(chǔ)模型的通用知識(shí)融入到變化檢測(cè)任務(wù)中。該方法克服了在知識(shí)轉(zhuǎn)移過(guò)程中遇到的領(lǐng)域偏移問(wèn)題，以及表達(dá)多時(shí)相圖像的同質(zhì)性和異質(zhì)性特征的挑戰(zhàn)。文中引入了一種名為“時(shí)空旅行”（TTP）的方法，該方法將時(shí)相信息無(wú)縫地集成到像素語(yǔ)義特征空間中。具體來(lái)說(shuō)，TTP利用了SAM模型的通用分割知識(shí)，并將引入低秩微調(diào)參數(shù)到SAM主干中來(lái)緩解空間語(yǔ)義的領(lǐng)域偏移。此外，TTP提出了一個(gè)時(shí)間旅行激活門，允許時(shí)相特征滲透到像素語(yǔ)義空間，從而賦予基礎(chǔ)模型理解雙時(shí)相圖像之間的同質(zhì)性和異質(zhì)性特征的能力。最后，文中設(shè)計(jì)了一個(gè)輕量高效的多層級(jí)變化預(yù)測(cè)頭來(lái)解碼密集的高級(jí)變化語(yǔ)義特征。該方法為開展準(zhǔn)確高效的遙感圖像變化檢測(cè)鋪平了道路。

本文的主要貢獻(xiàn)總結(jié)如下：

1）作者通過(guò)將基礎(chǔ)模型的通用潛在知識(shí)轉(zhuǎn)移到變化檢測(cè)任務(wù)，解決了注釋數(shù)據(jù)不足的問(wèn)題。在文章中，通過(guò)引入時(shí)間旅行像素（TTP）來(lái)彌補(bǔ)知識(shí)轉(zhuǎn)移過(guò)程中的時(shí)空領(lǐng)域差距。

2）具體來(lái)說(shuō)，作者引入了低秩微調(diào)以緩解空間語(yǔ)義的領(lǐng)域偏移，提出了一個(gè)時(shí)間旅行激活門以增強(qiáng)基礎(chǔ)模型識(shí)別圖像間相關(guān)性的能力，并設(shè)計(jì)了一個(gè)輕量高效的多層級(jí)預(yù)測(cè)頭來(lái)解碼基礎(chǔ)模型中封裝的密集語(yǔ)義信息。

3）作者在LEVIR-CD數(shù)據(jù)集上將提出的方法與各種先進(jìn)的方法進(jìn)行了比較。結(jié)果表明，該方法達(dá)到了最先進(jìn)的性能，突顯了其有效性和進(jìn)一步應(yīng)用的潛力。

03

/方法/

Overview

為了減輕變化檢測(cè)的注釋需求，本文利用了從基礎(chǔ)模型轉(zhuǎn)移過(guò)來(lái)的通用知識(shí)。作者利用SAM的通用分割能力來(lái)構(gòu)建一個(gè)變化檢測(cè)網(wǎng)絡(luò)，即TTP。TTP主要由三個(gè)部分組成：基于低秩微調(diào)的基礎(chǔ)模型主干；插入雙時(shí)相圖像特征間的時(shí)間旅行激活門；以及一個(gè)高效的多層級(jí)解碼頭。其結(jié)構(gòu)如圖1所示。

Efficient Fine-tuning of Foundation Model

SAM的主干由Transformer編碼器組成，可以分為base版、large版和huge版，分別對(duì)應(yīng)12層、24層和32層。為了提高計(jì)算效率，主干中的大部分Transformer層使用局部注意力，只有四層使用全局注意力。在本文中利用預(yù)訓(xùn)練的視覺(jué)主干，保持其參數(shù)處于凍結(jié)狀態(tài)，以加速適應(yīng)下游任務(wù)。為了彌補(bǔ)自然圖像和遙感圖像領(lǐng)域之間的差距，在多頭注意力層中引入了低秩可訓(xùn)練參數(shù)，如下式所示，

Time-traveling Activation Gate

當(dāng)前的視覺(jué)基礎(chǔ)模型擅長(zhǎng)理解單個(gè)圖像的內(nèi)容，在提取圖像間的特征時(shí)表現(xiàn)不佳。然而，在變化檢測(cè)中，專注于雙時(shí)相圖像中的“有效差異”而忽略“無(wú)關(guān)差異”是至關(guān)重要的。為了解決這個(gè)問(wèn)題，文中引入了時(shí)間旅行激活門，它促進(jìn)了時(shí)相特征流入像素特征的語(yǔ)義空間。這使基礎(chǔ)模型能夠理解雙時(shí)相圖像中的變化，并關(guān)注“有效變化”。為了提高效率，只在主干中的全局注意力層后加入激活門，按照下面的公式來(lái)整合雙時(shí)相信息，

Multi-level Decoding Head

遙感圖像的場(chǎng)景多樣，地物的尺度存在顯著變化。然而，基于ViT的視覺(jué)編碼器通常只生成單一尺度的特征圖。盡管這些圖包含了高級(jí)的全局語(yǔ)義信息，但如果沒(méi)有多層級(jí)的解碼頭，它們的性能優(yōu)勢(shì)可能難以顯現(xiàn)。為了解決這個(gè)問(wèn)題，文中設(shè)計(jì)了一個(gè)輕量高效的多層級(jí)變化預(yù)測(cè)頭。該頭通過(guò)轉(zhuǎn)置卷積上采樣和最大池化下采樣來(lái)構(gòu)建多級(jí)特征。然后使用一個(gè)輕量級(jí)的MLP映射層來(lái)輸出最終的變化概率圖，

04

/實(shí)驗(yàn)/

作者在LEVIR-CD上進(jìn)行了實(shí)驗(yàn)。為了評(píng)估性能，采用廣泛認(rèn)可交并比（IoU）、F1分?jǐn)?shù)、精確度和召回率，以及總體準(zhǔn)確度（OA）。

作者將提出的TTP與一系列最先進(jìn)的變化檢測(cè)方法進(jìn)行了比較，包括FC-Siam-Di、DTCDSCN、STANet、SNUNet、BIT、ChangeFormer、ddpm-CD、WNet 和CSTSUNet。比較結(jié)果如表1所示，提出的TTP達(dá)到了最高的性能（92.1/85.6 F1/IoU），顯著超過(guò)了當(dāng)前的先進(jìn)方法，如WNet（90.7/82.9）和CSTSUNet（90.7/83.0）。這表明了從基礎(chǔ)模型轉(zhuǎn)移通用知識(shí)可以增強(qiáng)變化檢測(cè)，同時(shí)也驗(yàn)證了提出的轉(zhuǎn)移方法的有效性。

如表1所示，當(dāng)移除時(shí)間旅行門（ttg）和多級(jí)解碼頭（ml）時(shí)，性能會(huì)有所下降。此外，從基礎(chǔ)模型中移除低秩微調(diào)參數(shù)會(huì)導(dǎo)致性能大幅下降。這些觀察結(jié)果強(qiáng)調(diào)了本文提出的方法可以有效地彌補(bǔ)領(lǐng)域差距并增強(qiáng)時(shí)空理解。它們同時(shí)也驗(yàn)證了每個(gè)組件在變化檢測(cè)任務(wù)中的有效性。

05

/結(jié)論/

本文通過(guò)將基礎(chǔ)模型的通用知識(shí)融入變化檢測(cè)任務(wù)，緩解了復(fù)雜時(shí)空遙感場(chǎng)景下模型難泛化的挑戰(zhàn)。具體來(lái)說(shuō)，作者引入了低秩微調(diào)來(lái)彌補(bǔ)自然圖像和遙感圖像之間的空間語(yǔ)義鴻溝，緩解了基礎(chǔ)模型的局限性；提出了一個(gè)時(shí)間旅行激活門，使基礎(chǔ)模型具有時(shí)相建模的能力。此外設(shè)計(jì)了一個(gè)多層級(jí)變化預(yù)測(cè)頭來(lái)解碼密集特征。在LEVIR-CD數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明了提出方法的有效性，該方法能在單卡4090上進(jìn)行訓(xùn)練。

審核編輯：黃飛

?