遷移學(xué)習(xí)幫大忙！成都理工大學(xué)搭建 SCDUNet++ 模型進(jìn)行滑坡測繪

滑坡是最常見的自然災(zāi)害之一，通常由地震和降雨引發(fā)，會造成嚴(yán)重的財產(chǎn)損失和人員傷亡。由地震觸發(fā)的山體滑坡所造成的破壞，有時會比地震本身造成的破壞更為嚴(yán)重。大型地震發(fā)生之后，快速、準(zhǔn)確地開展滑坡測繪工作 (landslide mapping, LM) 對于緊急救援、及時定量災(zāi)害評估和災(zāi)后重建至關(guān)重要。

近年來，人們對遙感圖像自動繪制滑坡地圖的方法進(jìn)行了大量研究，但由于山體滑坡在特征和規(guī)模上存在較大差異，加之光學(xué)遙感影像存在相似性，導(dǎo)致現(xiàn)有方法在準(zhǔn)確進(jìn)行滑坡測繪工作時面臨著各種各樣的挑戰(zhàn)。

遙感滑坡圖像

為此，成都理工大學(xué)的研究人員提出了一個名為 SCDUNet++ 的語義分割模型 ，該模型結(jié)合了卷積神經(jīng)網(wǎng)絡(luò) (CNN) 和 Transformer 的優(yōu)勢，增強(qiáng)了對滑坡特征的識別和提取，性能優(yōu)于 FCN, DeepLabv3+, Segformer 等其他 8 個深度學(xué)習(xí)模型，在 IoU 方面提高了 1.91% 至 24.42%，在 F1 方面提高了 1.26% 至 18.54%。該成果已發(fā)表于 International Journal of Applied Earth Observation and Geoinformation。

注：IoU 為交并比，衡量預(yù)測區(qū)域和真實區(qū)域之間的重疊程度；F1 為精確度和召回率的調(diào)和平均值，衡量模型的準(zhǔn)確性和完整性。

研究亮點：
* 利用多通道數(shù)據(jù)的語義分割模型繪制滑坡圖

* 利用地形和光譜指數(shù)因子改善滑坡繪圖

* 經(jīng)過深度遷移學(xué)習(xí)后，模型在數(shù)據(jù)匱乏地區(qū)的性能大大提高

* 所提出的模型在繪圖和遷移性等方面優(yōu)于其他模型

論文地址：

https://doi.org/10.1016/j.jag.2023.103612
數(shù)據(jù)集一鍵下載：

https://hyper.ai/datasets/29647
關(guān)注公眾號，后臺回復(fù)「滑坡」獲取完整 PDF

實驗過程：搭建 SCDUNet++ 模型
數(shù)據(jù)集：瀘定和九寨溝地震數(shù)據(jù)

2022 年的瀘定 6.8 級地震和 2017 年的九寨溝 7.0 級地震都造成了嚴(yán)重的滑坡災(zāi)害，因此研究人員選擇這兩個地區(qū)進(jìn)行實驗研究。

實驗地區(qū)概覽

數(shù)據(jù)集中包含三部分內(nèi)容，整合后存儲為 HDF5 格式。

Sentinel-2（哨兵 2 號衛(wèi)星） 多光譜數(shù)據(jù)：2022/03/15 和 2022/11/25 的瀘定地區(qū)數(shù)據(jù)，2017/07/29 和 2017/09/07 的九寨溝數(shù)據(jù)。

NASADEM (Digital Elevation Model) 數(shù)據(jù)：在 NASADEM 官網(wǎng)上下載數(shù)據(jù)，得到坡度、坡向、曲率、山蔭及地形濕度指數(shù) (TWI) 等數(shù)據(jù)。

滑坡數(shù)據(jù) (landslide inventory)：結(jié)合 Sentinel-2 光學(xué)遙感圖像和谷歌地球圖像，由專家進(jìn)行人工標(biāo)注。

模型架構(gòu)：三大模塊構(gòu)成

下圖為構(gòu)建的 SCDUNet++ 模型整體架構(gòu)：

SCDUNet++ 整體架構(gòu)

GLFE (Global Local Feature Extraction) 模塊：如圖 b 所示，GLFE 模塊結(jié)合淺層 CNN 結(jié)構(gòu)和深層 Swin Transformer 結(jié)構(gòu)，有效地處理了滑坡圖像特征的提取和分類問題。

DSSA (Detailed Spatial Spectral Aggregation) 模塊：通過融合來自 GLFE 模塊的光譜和空間特征，加強(qiáng)對多光譜圖像中復(fù)雜信息的處理能力，該模塊能夠執(zhí)行更精確的光譜和空間特征提取，增強(qiáng)了模型對多光譜圖像分析的效率和準(zhǔn)確性。

DSC (Dense Skip Connection) ：如圖 d 所示，該模塊能夠恢復(fù)每個階段特征的分辨率。

最后，對每個階段的特征進(jìn)行加權(quán)和融合，得到最終的結(jié)果。

算法訓(xùn)練：基于簡單模型的 DTL 方法

研究人員引入深度遷移學(xué)習(xí) (deep transfer learning,DTL) 方法以提高 LM 和模型的遷移性能，算法訓(xùn)練旨在有效處理滑坡和背景在遙感圖像中的不平衡分布，同時確保模型在多個性能指標(biāo)上的高效性。

基于網(wǎng)絡(luò)的 DTL 方法

實驗結(jié)果：經(jīng)過遷移學(xué)習(xí)，模型有效開展滑坡測繪工作
模型評估：GLFE 模塊和 DSSA 模塊結(jié)合的有效性

研究人員以滑坡地圖繪制常用的方法 UNet++ 作為基線，以瀘定地區(qū) I、II 為實驗組，開展了消融實驗 (ablation experiment)，對添加不同模塊的模型進(jìn)行比較，重點關(guān)注 IoU 和 F1 兩個整體性指標(biāo)。

由下表可見：

* GLFE 模塊的有效性：與基線相比，IoU 和 F1 分別提高了 1.7% 和 1.16%。

* DSSA 模塊的有效性：與基線相比，IoU 和 F1 分別提高了 1.88% 和 1.28%。

* SCDUNet++ 模型：與基線相比，IoU 和 F1 分別提高了 2.83% 和 1.92%。

模型比較結(jié)果

總結(jié)來看，研究人員將 GLFE 模塊和 DSSA 模塊添加到基線模型 UNet++ 中，形成了 SCDUNet++ 模型。SCDUNet++ 模型保留了小型滑坡圖像以獲得更好的性能，模型精確度提高了 0.46% ，召回率提高了 4.06%。

復(fù)雜區(qū)域消融實驗的可視化結(jié)果

a：基線
b：基線 + GLFE
c：基線 + DSSA
d：基線 + GLFE + DSSA

瀘定地區(qū)測試：SCDUNet++ 展現(xiàn)優(yōu)越性能

在瀘定 I、II 測試地區(qū)，研究人員將 SCDUNet++ 模型與其余 8 種模型的滑坡測繪工作進(jìn)行比較，揭示了 SCDUNet++ 對特定地理特征和環(huán)境復(fù)雜度的敏感性。

下圖結(jié)果顯示，測試區(qū)域 Ⅰ 中，SCDUNet++ 在精確度、召回率、MCC、IoU、MIoU 和 F1 分?jǐn)?shù)上均表現(xiàn)出較高的性能。這表明該模型在相對復(fù)雜的地理環(huán)境中仍能保持較高的檢測準(zhǔn)確性。而背景較為簡單的測試區(qū)域 Ⅱ 實驗結(jié)果也證實了 SCDUNet++ 在不同環(huán)境下的適應(yīng)性，尤其在召回率和 MIoU 上表現(xiàn)突出。

不同模型在地區(qū) I、II 的比較結(jié)果

在可視化結(jié)果中，SCDUNet++ 模型展現(xiàn)了優(yōu)越的性能，具體表現(xiàn)為：

滑坡測繪完整性：SCDUNet++ 能夠生成相對完整的滑坡地圖，相比之下，F(xiàn)CN、Segformer、TransUNet 和 UNet 等模型遺漏了部分小型滑坡圖像。

對 FP（假正例，即錯誤預(yù)測為正類的負(fù)類）的處理：由于裸土區(qū)域和滑坡特征十分相似，所有模型都出現(xiàn)了不同程度的 FP，但 SCDUNet++ 能夠基于特定的特征提取模塊，在一定程度上抑制 FP 的產(chǎn)生。

邊界區(qū)域的處理：研究人員在滑坡和背景的邊界區(qū)域發(fā)現(xiàn)了大量的 FN（假負(fù)例，即錯誤預(yù)測為負(fù)類的正類）和 FP，但 SCDUNet++ 采用嵌套解碼器，能夠在各個層次恢復(fù)和融合特征并進(jìn)行深度監(jiān)督，有效解決邊界不準(zhǔn)確問題。

瀘定試驗區(qū)分區(qū)各模型滑坡測繪可視化結(jié)果

A、 B、 C 和 D 中的白色矩形顯示了結(jié)果之間的主要差異
a：測試地區(qū) I
b：測試地區(qū) II

總的來說，SCDUNet++ 模型展現(xiàn)出了在瀘定地區(qū)進(jìn)行滑坡測繪的強(qiáng)大潛力，尤其在處理復(fù)雜環(huán)境和精確邊界判定方面表現(xiàn)卓越。

九寨溝地區(qū)測試：遷移學(xué)習(xí)后的模型預(yù)測更準(zhǔn)

直接使用在瀘定地區(qū)訓(xùn)練的模型

指標(biāo)對比：SCDUNet++ 在大多數(shù)指標(biāo)上表現(xiàn)優(yōu)于其他模型。但需要考慮九寨溝試驗區(qū)的特征相對簡單，模型測試結(jié)果應(yīng)該會優(yōu)于瀘定地區(qū)，可是指標(biāo)都不是非常理想。

可視化結(jié)果：下圖展示了映射結(jié)果中 FP（藍(lán)色區(qū)域）很少，但遺漏了許多實際的滑坡。

九寨溝地區(qū)滑坡測繪

經(jīng)過深度遷移學(xué)習(xí)優(yōu)化的模型

指標(biāo)提升：經(jīng)過深度遷移學(xué)習(xí)后，所有指標(biāo)在測試區(qū)域 Ⅲ 和 Ⅳ 中均顯示出顯著提升，特別是召回率和 F1 分?jǐn)?shù)顯著增加，SCDUNet++ 模型依然在多個指標(biāo)上表現(xiàn)最佳。

經(jīng)過 DTL 優(yōu)化后模型指標(biāo)變化

可視化結(jié)果：經(jīng)過深度遷移學(xué)習(xí)后 FN（假負(fù)例，即錯誤預(yù)測為負(fù)類的正類）顯著減少，模型有效地識別并映射出大型滑坡，減少了漏檢的情況。同時模型 LM 結(jié)果包含了大多數(shù)小型滑坡，這表明經(jīng)過深度遷移學(xué)習(xí)的 SCDUNet++ 模型對于細(xì)小和復(fù)雜的滑坡特征有了更好的識別能力。

SCDUNet++ LM 結(jié)果變化

a: DTL 前的測試區(qū) III
b: DTL 后的測試區(qū) III
c: DTL 前的測試區(qū) IV
d: DTL 后的測試區(qū) IV

地質(zhì)災(zāi)害防治領(lǐng)域的國家重點實驗室
成都地處四川盆地西部，地層結(jié)構(gòu)復(fù)雜，當(dāng)?shù)丶爸苓叺貐^(qū)經(jīng)常受到地震災(zāi)害侵?jǐn)_。可以說，成都一直奮戰(zhàn)在防災(zāi)減災(zāi)的一線，其中成都理工大學(xué)更是最早一批加入「戰(zhàn)斗」的中堅力量。

1989 年，原國家計委、國家教委批準(zhǔn)，在成都理工大學(xué)（原成都地質(zhì)學(xué)院）地質(zhì)工程國家重點學(xué)科基礎(chǔ)上建立國家專業(yè)實驗室，此為地質(zhì)災(zāi)害防治與地質(zhì)環(huán)境保護(hù)國家重點實驗室的前身。2001 年，該實驗室被四川省人民政府批準(zhǔn)為「四川省重點實驗室」。2002 年成為科技部與四川省共建的「國家重點實驗室培育基地」，2003 年被批準(zhǔn)為國土資源部重點實驗室，2007 年 10 月被科技部批準(zhǔn)列入國家重點實驗室建設(shè)計劃，2010 年 12 月通過科技部驗收。

此外，該實驗室是我國地質(zhì)災(zāi)害防治領(lǐng)域目前唯一的國家重點實驗室，在 2017 年被國土資源部、科技部命名為「國家國土資源科普基地」，2020 年入選四川省第十二批省級科普基地。

成理地災(zāi)國重實驗室

屹立千年的山體一旦發(fā)生滑坡，巖石、土壤便順著傾斜的山體，像流水一樣頃刻間掩埋一座幾公里外的村鎮(zhèn)。災(zāi)難的背后是一個又一個謎團(tuán)等待研究人員的探索，多年來，實驗室的研究人員們從現(xiàn)場調(diào)（勘）查、模擬評估、監(jiān)測預(yù)警等工作中逐步積累出一整套地質(zhì)災(zāi)害防治和地質(zhì)環(huán)境保護(hù)的理論與技術(shù)系統(tǒng)。

2023 年 11 月，研究人員在 PNAS 上發(fā)表論文，在地震、滑坡粘滑不穩(wěn)定性研究領(lǐng)域取得重要進(jìn)展；2023 年 9 月發(fā)表論文研究地震或滑坡的粘滑前兆特征，為即將發(fā)生的地震或滑坡提供預(yù)測信息；2023 年 1 月破解高速遠(yuǎn)程滑坡超強(qiáng)流態(tài)化謎團(tuán)……

自古至今，人類多次經(jīng)受自然災(zāi)害的「迫害」，地震、海嘯、暴雨、干旱等等，致使無數(shù)家庭流離失所。盡管是在科技日新月異的今天，我們也難以與自然力量抗衡，更多的則是防范與預(yù)警。尤其是在 AI、大數(shù)據(jù)等技術(shù)的快遞迭代之下，過往災(zāi)害所沉淀下的數(shù)據(jù)成為了寶貴的養(yǎng)料，幫助各類預(yù)測模型提升精度與準(zhǔn)確性，從而更好地服務(wù)于當(dāng)下社會。

我們總愿意相信人定勝天，所以自然災(zāi)害面前，人類也從未退縮，相信 AI 等技術(shù)也將成為人類抵御自然災(zāi)害、保護(hù)生命財產(chǎn)安全的堅實盾牌。

HyperAI官網(wǎng)已上傳自然災(zāi)害、地質(zhì)相關(guān)的數(shù)據(jù)集

* xBD 自然災(zāi)害圖像數(shù)據(jù)集：

https://hyper.ai/datasets/13272

* RSSCN7 Data Set 遙感圖像數(shù)據(jù)集：

https://hyper.ai/datasets/5440

* European Flood 2013 歐洲洪水?dāng)?shù)據(jù)集：

https://hyper.ai/datasets/21579

參考資料：
https://www.sklgp.cdut.edu.cn/