科研動(dòng)態(tài)
基于圖像分解去糾纏與邊緣引導(dǎo)的遙感影像語(yǔ)義分割算法研究
論文題目：基于圖像分解去糾纏與邊緣引導(dǎo)的遙感影像語(yǔ)義分割算法研究
錄用期刊：遙感學(xué)報(bào)（CCF A）
作者列表：
1） 連遠(yuǎn)鋒 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 智能科學(xué)與技術(shù)系教師
2） 李科科 中國(guó)石油大學(xué)（北京）人工智能學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè) 碩23
摘要:
遙感圖像具有目標(biāo)尺寸差異顯著、背景復(fù)雜多變的特點(diǎn)，存在地物光譜混淆和特征邊界不清晰等現(xiàn)象，這增加了語(yǔ)義分割任務(wù)的難度。針對(duì)不同光照條件下遙感圖像目標(biāo)由于特征相互依賴(lài)而導(dǎo)致的語(yǔ)義分割困難問(wèn)題，本文提出了一種基于去糾纏的遙感圖像語(yǔ)義分割模型，該模型由光照反射去糾纏網(wǎng)絡(luò)（LRD-Net）和多模態(tài)語(yǔ)義分割網(wǎng)絡(luò)（MSS-Net）構(gòu)成。首先，基于Retinex理論設(shè)計(jì)LRD-Net網(wǎng)絡(luò)用于分解光學(xué)圖像中的光照和反射特征，通過(guò)權(quán)重共享Transformer（WS-Transformer）提取目標(biāo)的全局和局部特征；其次，引入多尺度噪聲模塊對(duì)光照分量進(jìn)行自適應(yīng)增強(qiáng)以提高模型的去糾纏能力，通過(guò)顯著特征強(qiáng)化模塊（SE）突出不同分量特征之間的差異信息；最后，使用邊緣特征提取模塊（EE）提高遙感目標(biāo)的邊緣識(shí)別能力，并通過(guò)多模態(tài)語(yǔ)義分割網(wǎng)絡(luò)（MSS-Net）融合光照特征和反射特征提升語(yǔ)義分割性能。實(shí)驗(yàn)結(jié)果表明，本文提出的模型在遙感圖像語(yǔ)義分割任務(wù)中優(yōu)于其他模型。
背景與動(dòng)機(jī):
在城市環(huán)境中，當(dāng)光照條件的顯著變化時(shí)，遙感圖像的語(yǔ)義分割面臨目標(biāo)尺度不平衡和同物異譜及異物同譜等問(wèn)題。因此，研究如何在不同光照條件下對(duì)復(fù)雜城市背景中目標(biāo)進(jìn)行精確分割具有重要的意義。
設(shè)計(jì)與實(shí)現(xiàn):
本文提出遙感圖像語(yǔ)義分割模型的整體框架如圖1所示，主要由光照反射去糾纏模塊、光照反射增強(qiáng)模塊和語(yǔ)義分割模塊3部分組成。模型將遙感光照?qǐng)D像作為光照反射去糾纏模塊的輸入。其中 LRD-Net是雙分支結(jié)構(gòu)，分別提取光學(xué)圖像的光照信息和反射信息。同時(shí)該模塊采用WS-Transformer，將光照反射去糾纏模塊中提取的光照信息和反射信息在特征提取的不同階段進(jìn)行多次融合。在光照反射增強(qiáng)模塊中，LRD-Net對(duì)多尺度噪聲模塊增強(qiáng)的光照特征進(jìn)行再分解。SE模塊從全局上提取分解后的高層特征，獲取更多語(yǔ)義信息。最后語(yǔ)義分割網(wǎng)絡(luò)MSS-Net利用EE模塊對(duì)深層信息進(jìn)行邊緣提取，得到語(yǔ)義分割結(jié)果。
圖1 整體框架結(jié)構(gòu)圖
實(shí)驗(yàn)結(jié)果及分析:
在ISPRS Vaihingen和ISPRS Potsdam數(shù)據(jù)集上，本模型的特征去糾纏效果如圖2所示。相較于輸入的原圖像，本模型通過(guò)分解輸出的反射特征與光照特征，精確地實(shí)現(xiàn)了光照分量與不變反射率的有效去糾纏。 針對(duì)本模型在特定場(chǎng)景下的性能評(píng)估，所展示的輸入原圖像場(chǎng)景均存在細(xì)節(jié)豐富的識(shí)別物種類(lèi)，如復(fù)雜的城市建筑、多樣的地表覆蓋等，然而在本模型所提取的光照特征熱力圖中陰影變化與光照強(qiáng)度的分布被準(zhǔn)確捕捉。
(a)ISPRS Vaihingen 數(shù)據(jù)集
(b)ISPRS Potsdam 數(shù)據(jù)集
圖2 特征分解效果對(duì)比圖
為了更好地展示對(duì)比，圖3和圖4展示了本文方法與和其他語(yǔ)義分割模型的實(shí)驗(yàn)結(jié)果?？梢钥闯觯?/span>ISPRS Vaihingen和ISPRS Potsdam測(cè)試集上，本文方法的性能優(yōu)于其他方法，證明本文方法具有更強(qiáng)的魯棒性。
圖3 不同模型在ISPRS Vaihingen數(shù)據(jù)集上的分割結(jié)果對(duì)比
圖4 不同模型在ISPRS Potsdam數(shù)據(jù)集上的分割結(jié)果對(duì)比
結(jié)論:
本文提出一種基于物理過(guò)程去糾纏的遙感圖像檢測(cè)模型。該模型基于去糾纏理論和Retinex理論設(shè)計(jì)了基于物理過(guò)程的LRD-Net生成遙感圖像中的光照特征和反射特征，并基于權(quán)重共享模塊實(shí)現(xiàn)了WS-Transformer提取全局和局部特征，引入SE模塊進(jìn)一步對(duì)特征進(jìn)行融合。最后使用MSS-Net融合去糾纏后的特征，引入EE模塊提升分割精度。在ISPRS Vaihingen和ISPRS Potsdam數(shù)據(jù)集上的實(shí)驗(yàn)表明，所提模型提升了遙感圖像語(yǔ)義分割的精度，能夠通過(guò)對(duì)遙感圖像光照和反射的去糾纏解決不同光照條件下遙感圖像識(shí)別精度下降的問(wèn)題。未來(lái)考慮融合遙感大模型和去糾纏理論提高遙感圖像的分割精度。
作者簡(jiǎn)介:
連遠(yuǎn)鋒，教授。研究方向?yàn)閳D像處理與虛擬現(xiàn)實(shí)、機(jī)器視覺(jué)與機(jī)器人、深度學(xué)習(xí)與數(shù)字孿生。