高级检索+

基于深度学习的高分辨率遥感影像林地变化检测

问青青, 王广科, 吴达胜

问青青, 王广科, 吴达胜. 基于深度学习的高分辨率遥感影像林地变化检测[J]. 浙江林业科技, 2024, 44(6): 69-79. DOI: 10.3969/j.issn.1001-3776.2024.06.010
引用本文: 问青青, 王广科, 吴达胜. 基于深度学习的高分辨率遥感影像林地变化检测[J]. 浙江林业科技, 2024, 44(6): 69-79. DOI: 10.3969/j.issn.1001-3776.2024.06.010
WEN Qingqing, WANG Guangke, WU Dasheng. High-Resolution Remote Sensing Image Forest Land Change Detection Based on Deep Learning[J]. Journal of Zhejiang Forestry Science and Technology, 2024, 44(6): 69-79. DOI: 10.3969/j.issn.1001-3776.2024.06.010
Citation: WEN Qingqing, WANG Guangke, WU Dasheng. High-Resolution Remote Sensing Image Forest Land Change Detection Based on Deep Learning[J]. Journal of Zhejiang Forestry Science and Technology, 2024, 44(6): 69-79. DOI: 10.3969/j.issn.1001-3776.2024.06.010

基于深度学习的高分辨率遥感影像林地变化检测

基金项目: 浙江省林业科技项目(2023SY08)
详细信息
    作者简介:

    问青青,工程师,从事森林资源保护研究;E-mail: 19699056@qq.com

    通讯作者:

    吴达胜,教授,从事农林业大数据与人工智能研究;E-mail: 19940019@zafu.edu.cn。

  • 中图分类号: S711

High-Resolution Remote Sensing Image Forest Land Change Detection Based on Deep Learning

  • 摘要:

    基于深度学习进行的高分辨率遥感影像林地变化检测,能通过大规模数据训练从双时相高分影像中自动提取林地变化特征,可减少对操作人员的主观经验性依赖,提高林地变化检测效率。本文以浙江省为研究区域,基于World Imagery Wayback高分辨率遥感图像,利用UNet系列、DeepLabV3系列、FCN及SegNet等深度学习模型,通过二分类方法判断林地变化范围。结果表明:(1)本文所使用的各种模型,在测试集上mIoU评估指标均在84.70%以上,Accuracy指标均在92.00%以上,F1-score评估指标均在91.00%以上,Recall评估指标也均在91.00%以上,表现出较好的检测结果。(2)UNet模型各项指标均达到最高,mIoU、Accuracy、F1-score和Recall评估指标分别为89.54%、95.15%、94.44%及94.13%,但各模型在检测结果中均存在不同程度的边缘轮廓模糊、类内连通不完整现象。(3)为解决检测结果中存在的类内连通不完整及轮廓模糊问题,利用SE、SGAM、CBAM等注意力机制改进性能很好的UNet模型,为验证模型改进的有效性以及排除模型结构差异的影响,对DeepLabV3、DeepLabV3P模型也做相同的改进,以形成对照实验。结果显示,利用通道注意力机制改进的UNet+SE模型mIoU指标提高最多,为0.18%。但利用空间注意力机制改进的UNet+SGAM、DeepLabV3+SGAM、DeepLabV3P+SGAM模型,其mIoU指标分别降低了1.01%、0.77%、0.67%,因此在检测林地变化时,通道上的特征重要性大于空间上的特征重要性,需加重关注通道特征,降低关注空间特征。基于深度学习进行的高分辨率遥感影像林地变化检测,在各模型中UNet模型的性能指标表现优秀,且模型的通道重要性大于空间重要性,该结论可为林地变化检测提供重要借鉴。

    Abstract:

    Deep learning offers an efficient approach to forest land change detection by automatically extracting change features from dual-time-phase high-resolution images through large-scale data training, reducing reliance on operator experience and enhancing detection efficiency. Focusing on Zhejiang Province, this study utilized high-resolution remote sensing images from World Imagery Wayback and applied deep learning models, including UNet series, DeepLabV3 series, FCN, and SegNet, for binary classification of forest land changes. All models demonstrated strong performance on the test set, with mIoU above 84.70%, Accuracy above 92%, F1-score above 91.00%, and Recall above 91%. Among them, the UNet model achieved the best results, with mIoU of 89.54%, Accuracy of 95.15%, F1-score of 94.44%, and Recall of 94.13%, though all models showed varying degrees of edge contour blurring and incomplete intra-class connectivity. To address these limitations, the UNet model was improved using attention mechanisms, including SE (Squeeze-and-Excitation), SGAM (Spatial Gated Attention Mechanism), and CBAM (Convolutional Block Attention Module), and similar enhancements were applied to DeepLabV3 and DeepLabV3P models for control experiments. Results showed that the UNet+SE model, leveraging channel attention, achieved the greatest improvement in mIoU (0.18%), while models enhanced with spatial attention (UNet+SGAM, DeepLabV3+SGAM, DeepLabV3P+SGAM) experienced decreases in mIoU by 1.01%, 0.77%, and 0.67%, respectively, indicating that channel features are more critical than spatial features for forest land change detection. These findings confirm the UNet model’s superior performance and highlight the importance of prioritizing channel features, providing valuable insights for forest land change detection using deep learning and high-resolution remote sensing imagery.

  • 森林资源在自然资源中有着十分重要的地位,对许多行业正常发展都起到了重要作用[1]。自党的十八大以来,为加强生态文明建设,我国要求每年以县为单位进行林地变化调查和林地一张图数据库更新,以确保有效监督和查处违法占用林地的事件[2]。近年来,得益于航空航天技术和计算机技术的发展,基于深度学习的高分辨率遥感影像林地变化检测被广泛研究,推动了林业资源管理信息化、智能化的发展。

    传统的林地变化检测技术涵盖时间、空间、光谱以及地理信息等多个方面,数据处理过程复杂[3]。目前的变化检测方法根据数据处理角度的不同大致分为三类:基于图像数据的方法、基于图像变换的方法以及基于图像分类的方法。基于图像数据的变化检测方法是利用地物在一定时期内的辐射差异,从而确定变化区域。主要有图像差值法[4]、图像比值法[5]、回归分析法[6]以及植被指数法[7]。基于图像变换的方法在进行变化检测之前,先对影像进行变换以突出变化信息。常见的图像变换方法包括主成分分析(Principal Component Analysis, PCA)[8]、缨帽(Tasseled Cap, TC)变换[9]、Gramm-Schmidt(GS)变换[10]等。基于图像分类的变化检测方法对两个时相的图像进行分类处理后,通过比较两幅图像的分类结果之间的差异来确定变化检测的结果。常用的分类算法包括ISODATA分类[11]、模糊聚类[12]、支持向量机[13]、决策树[14]和随机森林[15]等。传统的遥感变化检测技术相对简单,算法易于实现和解释,适用范围广,可应用于大尺度的遥感数据。但在处理复杂场景、含有遮挡物或混合像素的情况下表现较差。且传统方法操作依赖性强,通常需要手动设置阈值或参数,对操作者的经验和主观判断有一定要求。

    基于深度学习的林地变化检测是当前林业科学与人工智能技术结合的重要应用之一。近年来,研究者对深度学习架构进行了优化,以提高变化检测的准确性。UNet结构在处理遥感影像时展现了良好的多尺度特征捕获能力,而DeepLabV3等模型则通过引入空间金字塔池化和注意力机制,有效地增强了对复杂变化特征的识别能力。相较于传统的林地变化检测方法,它不需要繁杂的数据处理流程,能够通过大规模数据训练,从双时相高分辨率遥感影像中自动提取林地变化特征,进而判定林地变化的范围、类型等。这种方法减少了对操作人员的主观经验性依赖,极大地提高了林地变化检测效率。目前大多林地变化检测的研究针对中低分辨率遥感影像,而对高分辨率影像的变化检测以建筑物、耕地等目标为主。因此,本文旨在探索基于卷积神经网络(Convolutional Neural Networks, CNN)的深度学习模型,如UNet系列、DeepLabV3系列、FCN、SegNet等在高分辨率遥感影像林地变化检测中的应用,以探讨它们在提升检测精度和效率方面的潜力,为林业资源管理提供部分借鉴启示和技术支持。

    本文选取浙江省湖州市为研究区域。浙江省位于119°14′E~120°29′ E,30°22′N~31°11′ N之间。气候类型属于亚热带季风气候,全年降水充沛,雨量集中在夏季。地形主要包括山地、丘陵和平原地带等。湖州市作为一个山水交融、自然资源丰富的地区,林地资源是其重要生态资产之一,其丰富的自然资源和特殊的地理位置,为相关研究提供了较多且有价值的数据。

    本文使用World Imagery Wayback为数据源,通过Global Mapper(V20.0, Blue Marble Geographic)软件下载双时相高分辨率遥感历史影像。World Imagery Wayback是一项在线服务,可提供全球范围内的历史高分辨率卫星影像,包括QuickBird、GeoEye和WorldView等卫星的影像。本文下载的双时相历史影像基本信息如表1 所示。由于本文仅研究林地变化的范围,因此数据源2018至2023年五年内的林地变化的具体类型以及迭代轮次不对本研究造成影响。

    表  1  双时相遥感影像基本信息
    Table  1.  Basic information of dual temporal remote sensing images
    影像范围影像名称数据源版本分辨率/m波段地理坐标系
    湖州市前期遥感影像Wayback 2018-12-140.5R、G、BWGS 84
    湖州市后期遥感影像Wayback 2023-12-070.5R、G、BWGS 84
    下载: 导出CSV 
    | 显示表格

    本文研究的技术路线如图1所示,主要包括数据预处理、模型选择、模型训练以及结果与分析等部分。

    图  1  技术路线
    Figure  1.  Technology route

    首先,将研究区遥感影像按照512像素大小进行裁剪,以便后续计算。其次,利用目视解译法,根据《土地利用现状分类》及《第三次全国国土调查工作分类地类认定细则》中的林地认定标准来判断遥感影像的林地区域,进而判断林地是否变化及其变化范围。最后,通过Label me软件进行变化区域标注,标注示例如图2所示。

    图  2  标注的林地变化样本
    注:变化标签白色区域林地发生变化,黑色区域林地未发生变化。
    Figure  2.  Annotated samples of forest land change

    通过目视解译,共标注了543对变化样本。鉴于林地变化样本数据较为稀缺,不利于模型训练,因此采用林地伪变化生成技术来获取更多的、不同类型的林地变化样本数据,其流程如图3所示。首先,随机选取一期未发生变化的遥感影像,然后从地类样本库中选取一幅数据;接着将二者组合,生成林地伪变化影像对。最后对伪变化影像对进行目视解译,生成新的林地变化数据。通过应用该技术,获取了366对伪变化数据,最终数据集共得到了909对林地变化样本。

    图  3  林地伪变化样本生成流程
    Figure  3.  Process for Generating Pseudo Change Samples in Forest Land

    CNN[16]主要由卷积层、池化层和全连接层组成,如图4所示。其中,卷积层通过可学习的卷积核(Kernel)来提取图像的局部特征(Featured maps)。池化层(Pooled maps)通过对局部特征进行下采样来减少计算量。全连接层(Fully connected layers)将池化层的输出展为一维向量(Flatten layers),最终执行分类或回归任务。CNN不仅能自动提取特征,还具有平移不变性(即对图像中的位置变化不敏感)和局部连接性(即只处理输入图像的一小部分),这使得其在处理大规模图像数据时非常便利。本文选择的深度学习模型,如UNet系列、DeepLabV3系列、FCN和SegNet等,均是基于CNN结构的模型。

    图  4  CNN网络结构图
    Figure  4.  CNN network architecture diagram

    选取的精度评估指标有准确率(Accuracy)、精准率(Precision)、召回率(Recall)、F1分数(F1-score)、平均交并比(mean Intersection over Union,mIoU)以及Kappa系数。

    将数据集按照80%、10%、10%的比例划分为训练集、验证集和测试集。基于paddlepaddle深度学习框架搭建CNN模型。本文实验的硬件环境如下:GPU:Tesla V100,Memory:16GB,CPU:2核,RAM:16GB,Disk:100GB。软件环境如下:paddlepaddle 2.4.0、python 3.7.4。在训练过程中,采用二元交叉熵损失函数(Binary Cross Entropy Loss,BCE Loss)以及Adam、CosineAnnealingDecay优化算法。训练时单卡batch size设置为6,即每训练6对样本后进行一次参数更新。初始学习率设置为0.0002,总迭代次数iter为12100,即进行12100次参数更新。CosineAnnealingDecay余弦退火的周期最大为总迭代次数的三分之一,last_epoch设置为0.5。

    将各模型训练的结果在测试集上进行模型评估,以验证其泛化能力,评估指标如表2 所示。

    表  2  各模型在测试数据集评估指标
    Table  2.  Evaluation metrics of each model on the test data set
    模型名称 mIoU/% Accuracy/% Kappa/% F1-score/% Precision/% Recall/%
    UNet[17] 89.54 95.15 88.89 94.44 94.79 94.13
    AttentionUNet[18] 88.93 94.85 88.20 94.10 94.52 93.72
    BiseNetV1[19] 88.93 94.85 88.20 94.10 94.52 93.71
    UNet++[20] 88.92 94.82 88.19 94.09 94.29 93.91
    CCNet[21] 88.72 94.75 87.97 93.98 94.44 93.57
    DeepLabV3[22] 88.51 94.63 87.72 93.86 94.16 93.59
    DANet[23] 88.25 94.52 87.43 93.71 94.16 93.31
    DeepLabV3P[24] 88.24 94.53 87.41 93.70 94.31 93.17
    U2Net[25] 88.04 94.39 87.18 93.59 93.90 93.30
    SegNet[26] 87.96 94.38 87.09 93.54 94.10 93.05
    PSPNet[27] 87.46 94.10 86.51 93.25 93.56 92.98
    UNet3+[28] 86.75 93.76 85.68 92.84 93.29 92.44
    BiSeNetV2[29] 86.25 93.57 85.10 92.55 93.54 91.73
    FCN[30] 84.88 92.73 83.49 91.75 91.75 91.75
    FastSCNN[31] 84.72 92.71 83.29 91.65 92.14 91.28
      注:加粗值代表该列最高指标。
    下载: 导出CSV 
    | 显示表格

    由表2可知,各模型在测试集上mIoU评估指标均在84.70%以上,F1-score评估指标均在91.00%以上,且UNet各项指标均达到最高。观察可知,在UNet系列模型中,UNet、UNet++、UNet3+模型的mIoU评估指标依次降低;在DeepLab系列模型中,DeepLabV3、DeepLabV3P模型的mIoU评估指标依次降低;在BiseNet系列模型中,BiseNetV1、BiSeNetV2模型的mIoU评估指标依次降低。由此可知,在林地变化检测中,随着模型复杂度的提高,检测精度呈降低趋势。

    取mIoU指标排名前五的模型,对测试集中真实的林地变化数据进行变化预测。各模型预测结果如图5所示。同时,对测试集中合成的伪林地变化数据进行变化预测,各模型预测结果如图6所示。

    图  5  各模型对真实林地变化数据的预测结果
    注:a、b、c、d行分别表示林地-建筑变化、林地-草地变化、林地-耕地变化以及林地-裸地变化。a4—d8分别表示UNet、AttentionUNet、BiseNetV1、UNet++以及CCNet模型的林地变化预测结果。
    Figure  5.  Predicted results of each model on real forest land change data
    图  6  各模型对伪林地变化数据的预测结果
    注:a、b、c、d行分别表示林地-建筑伪变化、林地-草地伪变化、林地-耕地伪变化以及林地-裸地伪变化。a4—d8分别表示UNet、AttentionUNet、BiseNetV1、UNet++以及CCNet模型的林地变化预测结果。
    Figure  6.  Predicted results of each model on pseudo forest land change data

    图5可知,各模型在预测林地转化为裸地时(d4-d8),边界较为清晰,但BiseNetV1、UNet++模型的预测结果在细节处连通性稍低。在检测林地转为草地(b4-b8)、林地转为耕地(c4-c8)时,边界相对清晰,但连通性较大的草地、耕地内部出现误判。在检测林地转为建筑构筑时,检测出的变化轮廓相对不清晰。分析可知,由于建筑物存在阴影以及道路附近存在裸露地表,这些区域通常没有规则的、清晰的边界,因此检测出的变化区域轮廓不清晰。

    图6可知,在预测林地转换为建筑、草地、耕地及裸地时,各个模型均可检测出较完整、清晰的轮廓,且检测结果与标注基本一致。由于在合成伪林地变化数据时,变化区域轮廓就较为清晰且噪音较少,故而检测结果的轮廓较为清晰。仔细观察可知,在检测林地转为草地时(b4—b8),检测结果内部依然存在误判点。这是由于草地中存在的零散单棵树木在相关标准中不属于林地区域,因此导致了预测结果中变化区域内部连通性降低。

    为解决变化检测结果中存在的内部、边缘细节处连通不完整、不清晰的问题,本文尝试通过添加通道注意力机制Squeeze and Excitation(SE)[32]、空间门控注意力机制(Spatial Gate Attention Mechanism,SGAM)和卷积块注意力模块(Convolutional Block Attention Module,CBAM)[33]对mIoU排名第一的UNet模型进行改进。SE是一种通道注意力机制模块,用于增强模型对不同通道特征的关注程度;SGAM是一种空间注意力机制,旨在增强模型对特征图不同位置的关注程度;CBAM通过串联多个不同的注意力模块,使模型能够自适应地关注不同通道和空间位置的特征。为了验证模型改进的有效性以及排除模型结构差异的影响,对DeepLabV3、DeepLabV3P模型也做相同的改进,以形成对照实验。

    通过SE、SGAM和CBAM模块分别改进UNet、DeepLabV3、DeepLabV3P模型。对UNet模型的改进,是在Encoder的每个卷积层之后、下采样之前单独添加SE、SGAM和CBAM模块。改进后的UNet模型如图7所示。对于DeepLabV3、DeepLabV3P模型的改进,均是在ASPP(Atrous spatial pyramid pooling)后分别单独添加SE、SGAM和CBAM模块,其改进流程如图8所示。

    图  7  UNet模型改进示意图
    Figure  7.  Illustration of the improved UNet model
    图  8  DeepLabV3、DeepLabV3P模型改进示意图
    Figure  8.  DeepLabV3, DeepLabV3+ model improvement diagram

    利用与3.1小节相同的训练策略、参数,对通过SE、SGAM和CBAM模块改进后的UNet、DeeplabV3及DeepLabV3P模型进行训练、预测及评估。改进后的各模型在测试集上评估结果如表3所示。

    表  3  模型改进后的各项评估指标
    Table  3.  Evaluation metrics of the improved model
    模型名称 mIoU/% Accuracy/% Kappa/% F1-score/% Precision/% Recall/%
    UNet (原始) 89.54 95.15 88.89 94.44 94.79 94.13
    UNet + SE 89.72 95.24 89.09 94.54 95.01 94.12
    UNet + SGAM 88.53 94.65 87.75 93.87 94.25 93.53
    UNet + CBAM 87.21 93.96 86.23 93.12 93.23 93.01
    DeepLabV3 (原始) 88.51 94.63 87.82 93.86 94.16 93.59
    DeepLabV3 + SE 88.56 94.66 87.78 93.89 94.22 93.58
    DeepLabV3 + SGAM 87.74 94.26 86.83 93.41 93.87 93.00
    DeepLabV3 + CBAM 87.94 94.37 87.07 93.53 94.06 93.07
    DeepLabV3P (原始) 88.24 94.53 87.41 93.70 94.31 93.17
    DeepLabV3P + SE 86.45 93.62 85.34 92.67 93.20 92.19
    DeepLabV3P + SGAM 87.57 94.18 86.64 93.32 93.86 92.83
    DeepLabV3P + CBAM 86.94 93.80 85.91 92.96 92.98 92.94
      注:加粗值代表该列最高指标。
    下载: 导出CSV 
    | 显示表格

    表3可知,在改进后的模型中UNet+SE模型的mIoU指标最高,为89.72%。在UNet改进后的模型中,按照mIoU指标从高到低的排名依次是:UNet+SE、UNet+SGAM以及UNet+CBAM。这表明在注意力机制的基础上进行模型改进时,通道注意力机制SE优于空间注意力机制SGAM,而空间注意力机制SGAM又优于混合注意力机制CBAM。还可以发现,DeepLabV3+SE模型的mIoU指标高于DeepLabV3+SGAM,DeepLabV3P+SGAM模型的mIoU指标高于DeepLabV3P+CBAM,这也说明了通道注意力机制优于空间注意力机制。

    将模型改进前后的评估指标做对比,评估指标增减情况如表4所示。

    表  4  模型改进后各项评估指标的增减情况
    Table  4.  Changes in evaluation metrics after model improvement
    模型名称 mIoU/% Accuracy/% Kappa/% F1-score/% Precision/% Recall/%
    UNet + SE +0.18 +0.09 +0.20 +0.10 +0.22 −0.01
    UNet + SGAM −1.01 −0.50 −1.14 −0.57 −0.54 −0.60
    UNet + CBAM −2.33 −1.19 −2.66 −1.32 −1.56 −1.12
    DeepLabV3 + SE +0.05 +0.03 +0.06 +0.03 +0.06 −0.01
    DeepLabV3 + SGAM −0.77 −0.37 −0.89 −0.45 −0.29 −0.59
    DeepLabV3 + CBAM −0.57 −0.26 −0.65 −0.33 −0.10 −0.52
    DeepLabV3P + SE −1.79 −0.91 −2.07 −1.03 −1.11 −0.98
    DeepLabV3P + SGAM −0.67 −0.035 −0.77 −0.38 −0.45 −0.34
    DeepLabV3P + CBAM −1.30 −0.73 −1.50 −0.74 −1.33 −0.23
      注:+加粗代表指标提高,−代表指标降低。
    下载: 导出CSV 
    | 显示表格

    由表4可知,在改进后的各个模型中,仅有UNet+SE、DeepLabV3+SE模型性能有所提升,其余各模型性能不增反降。UNet+SE的mIou指标提高最多,为0.18%,高于DeepLabV3+SE的0.05%。

    将改进后的模型对测试集进行林地变化预测,预测结果如图9所示。由图9可知,各个模型在检测林地-建筑变化时,检测结果轮廓均不清晰,噪音点较多,误差较大;在检测林地-草地、林地-裸地变化时,检测结果轮廓基本清晰,且噪音点较少;在检测林地-耕地变化时,基于DeepLabV3、DeepLabV3P改进的模型对于类内伪变化误判较少,而UNet+SGAM、UNet+CBAM模型对于类内伪变化误判较多。但UNet+SE在所有改进后的模型中,对林地-耕地检测结果最为准确,检测结果边界与变化标注边界基本一致。

    图  9  模型改进后林地变化预测结果
    注:a、b、c、d行分别表示林地-建筑变化、林地-草地变化、林地-耕地变化以及林地-裸地变化。a4—d12分别表示各模型的林地变化预测结果。
    Figure  9.  Predicted forest land change results after model improvement

    第三次全国国土调查工作分类地类认定细则提到“对混合用地应以主要用地类型认定地类”“单行乔木不属于林地”。可见,在对遥感影像进行地类划分时,某个地类的范围应是面积大、连通紧密的区域,而且该范围中出现的小面积、零星的异类区域会被判定到主要用地地类中。因此,在对林地变化样本进行标注时,本身就会存在一定的误差,出现类内伪变化的情况(标签认定为变化,而实际未变化)。

    在模型训练及预测时,添加空间注意力机制会使模型加重对类内细节的关注,进而出现误判(标签认定为变化,模型预测为不变化),但仅添加通道注意力机制会提高UNet、DeepLabV3 模型的性能。由此可知,在检测林地变化时,通道上的特征重要性大于空间上的特征重要性,需加重关注通道特征,降低关注空间特征,以减少类内伪变化对模型的影响。

    本文使用UNet、DeepLab、SegNet、PSPNet、BiSeNet及CCNet等多种单体网络模型进行林地变化检测模型的训练、评估和预测,在测试集上所有模型的准确率指标均超过92.00%,mIoU指标均超过84.70%,F1-score指标均超过91.00%。其中UNet模型表现最佳,mIoU为89.54%;FastSCNN模型表现最差,mIoU为84.72%。此外,与本文中使用的单体网络变化检测模型相比,艾遒一等[34]人采用更为复杂的孪生残差网络模型进行高分影像林地变化检测。然而,孪生残差网络模型的最高准确率为91.00%,F1分数为83.00%,均低于本文中单体网络变化检测模型的性能。这表明在林地变化检测任务中单体网络模型表现出更优的性能。本文在检测林地转化为裸地时,各模型都能够较好地捕捉到边界,并且边界较为清晰,而在林地转为草地或耕地时,虽然边界基本清晰,但内部出现噪音点导致连通性不完整。在检测林地转为建筑构筑时,边界相对不清晰。

    为解决模型在连通性、噪音点上存在的问题,通过添加注意力机制对UNet、DeepLabV3、DeepLabV3P模型做改进。实验结果显示,在改进后的各个模型中,只有UNet + SE、DeepLabV3 + SE模型性能有所提升,其余各模型性能不增反降。UNet + SE的mIou指标提高最多,为0.18%,高于DeepLabV3 + SE的0.05%。通过分析得知,由于样本标签存在类内伪变化情况,添加空间注意力机制会使模型加重对类内细节的关注,进而出现误判。因此,在检测林地变化时需加重关注通道特征,降低关注空间特征,以减少类内伪变化对模型的影响。

    本研究基于深度学习方法,利用双时相高分辨率遥感图像进行林地变化范围检测,可保证林地变化信息的实效性、动态性监测,今后的研究可利用大尺度、多时相遥感图像动态监测林地变化的类型等信息。此外,针对变化检测结果中类内连通性低、边缘不清晰的问题,本文运用了注意力机制进行优化,能否找到更好的方法仍有待进一步研究。

  • 图  1   技术路线

    Figure  1.   Technology route

    图  2   标注的林地变化样本

    注:变化标签白色区域林地发生变化,黑色区域林地未发生变化。

    Figure  2.   Annotated samples of forest land change

    图  3   林地伪变化样本生成流程

    Figure  3.   Process for Generating Pseudo Change Samples in Forest Land

    图  4   CNN网络结构图

    Figure  4.   CNN network architecture diagram

    图  5   各模型对真实林地变化数据的预测结果

    注:a、b、c、d行分别表示林地-建筑变化、林地-草地变化、林地-耕地变化以及林地-裸地变化。a4—d8分别表示UNet、AttentionUNet、BiseNetV1、UNet++以及CCNet模型的林地变化预测结果。

    Figure  5.   Predicted results of each model on real forest land change data

    图  6   各模型对伪林地变化数据的预测结果

    注:a、b、c、d行分别表示林地-建筑伪变化、林地-草地伪变化、林地-耕地伪变化以及林地-裸地伪变化。a4—d8分别表示UNet、AttentionUNet、BiseNetV1、UNet++以及CCNet模型的林地变化预测结果。

    Figure  6.   Predicted results of each model on pseudo forest land change data

    图  7   UNet模型改进示意图

    Figure  7.   Illustration of the improved UNet model

    图  8   DeepLabV3、DeepLabV3P模型改进示意图

    Figure  8.   DeepLabV3, DeepLabV3+ model improvement diagram

    图  9   模型改进后林地变化预测结果

    注:a、b、c、d行分别表示林地-建筑变化、林地-草地变化、林地-耕地变化以及林地-裸地变化。a4—d12分别表示各模型的林地变化预测结果。

    Figure  9.   Predicted forest land change results after model improvement

    表  1   双时相遥感影像基本信息

    Table  1   Basic information of dual temporal remote sensing images

    影像范围影像名称数据源版本分辨率/m波段地理坐标系
    湖州市前期遥感影像Wayback 2018-12-140.5R、G、BWGS 84
    湖州市后期遥感影像Wayback 2023-12-070.5R、G、BWGS 84
    下载: 导出CSV

    表  2   各模型在测试数据集评估指标

    Table  2   Evaluation metrics of each model on the test data set

    模型名称 mIoU/% Accuracy/% Kappa/% F1-score/% Precision/% Recall/%
    UNet[17] 89.54 95.15 88.89 94.44 94.79 94.13
    AttentionUNet[18] 88.93 94.85 88.20 94.10 94.52 93.72
    BiseNetV1[19] 88.93 94.85 88.20 94.10 94.52 93.71
    UNet++[20] 88.92 94.82 88.19 94.09 94.29 93.91
    CCNet[21] 88.72 94.75 87.97 93.98 94.44 93.57
    DeepLabV3[22] 88.51 94.63 87.72 93.86 94.16 93.59
    DANet[23] 88.25 94.52 87.43 93.71 94.16 93.31
    DeepLabV3P[24] 88.24 94.53 87.41 93.70 94.31 93.17
    U2Net[25] 88.04 94.39 87.18 93.59 93.90 93.30
    SegNet[26] 87.96 94.38 87.09 93.54 94.10 93.05
    PSPNet[27] 87.46 94.10 86.51 93.25 93.56 92.98
    UNet3+[28] 86.75 93.76 85.68 92.84 93.29 92.44
    BiSeNetV2[29] 86.25 93.57 85.10 92.55 93.54 91.73
    FCN[30] 84.88 92.73 83.49 91.75 91.75 91.75
    FastSCNN[31] 84.72 92.71 83.29 91.65 92.14 91.28
      注:加粗值代表该列最高指标。
    下载: 导出CSV

    表  3   模型改进后的各项评估指标

    Table  3   Evaluation metrics of the improved model

    模型名称 mIoU/% Accuracy/% Kappa/% F1-score/% Precision/% Recall/%
    UNet (原始) 89.54 95.15 88.89 94.44 94.79 94.13
    UNet + SE 89.72 95.24 89.09 94.54 95.01 94.12
    UNet + SGAM 88.53 94.65 87.75 93.87 94.25 93.53
    UNet + CBAM 87.21 93.96 86.23 93.12 93.23 93.01
    DeepLabV3 (原始) 88.51 94.63 87.82 93.86 94.16 93.59
    DeepLabV3 + SE 88.56 94.66 87.78 93.89 94.22 93.58
    DeepLabV3 + SGAM 87.74 94.26 86.83 93.41 93.87 93.00
    DeepLabV3 + CBAM 87.94 94.37 87.07 93.53 94.06 93.07
    DeepLabV3P (原始) 88.24 94.53 87.41 93.70 94.31 93.17
    DeepLabV3P + SE 86.45 93.62 85.34 92.67 93.20 92.19
    DeepLabV3P + SGAM 87.57 94.18 86.64 93.32 93.86 92.83
    DeepLabV3P + CBAM 86.94 93.80 85.91 92.96 92.98 92.94
      注:加粗值代表该列最高指标。
    下载: 导出CSV

    表  4   模型改进后各项评估指标的增减情况

    Table  4   Changes in evaluation metrics after model improvement

    模型名称 mIoU/% Accuracy/% Kappa/% F1-score/% Precision/% Recall/%
    UNet + SE +0.18 +0.09 +0.20 +0.10 +0.22 −0.01
    UNet + SGAM −1.01 −0.50 −1.14 −0.57 −0.54 −0.60
    UNet + CBAM −2.33 −1.19 −2.66 −1.32 −1.56 −1.12
    DeepLabV3 + SE +0.05 +0.03 +0.06 +0.03 +0.06 −0.01
    DeepLabV3 + SGAM −0.77 −0.37 −0.89 −0.45 −0.29 −0.59
    DeepLabV3 + CBAM −0.57 −0.26 −0.65 −0.33 −0.10 −0.52
    DeepLabV3P + SE −1.79 −0.91 −2.07 −1.03 −1.11 −0.98
    DeepLabV3P + SGAM −0.67 −0.035 −0.77 −0.38 −0.45 −0.34
    DeepLabV3P + CBAM −1.30 −0.73 −1.50 −0.74 −1.33 −0.23
      注:+加粗代表指标提高,−代表指标降低。
    下载: 导出CSV
  • [1] 郭琦. 林业资源保护与森林防火管理的重要性及对策[J]. 农业与技术,2021,41(12):71 − 73.
    [2] 王帆. 基于高分遥感的林地动态变化检测算法研究[D]. 西安:西安科技大学,2021.
    [3] 周启鸣. 多时相遥感影像变化检测综述[J]. 地理信息世界,2011,9(02):28 − 33. doi: 10.3969/j.issn.1672-1586.2011.02.007
    [4] 林帅,刘会欣,张强,等. 张家口市植被指数变异及动态变化特征分析[J]. 农业技术与装备,2022(3):49 − 55. doi: 10.3969/j.issn.1673-887X.2022.03.018
    [5] 乐颖,夏元平. 基于比值法的多源多时相数据城区变化检测[J]. 测绘通报,2022(2):56 − 61.
    [6] 李福根,张保辉,段玉林. 利用植被指数非相似性监测水稻病虫害方法研究[J]. 中国农业信息,2020,32(1):46 − 63.
    [7]

    SOLTANINEJAD M,JAFARI M,NOROOZI A,et al. Evaluation of vegetation changes in desertification projects using remote sensing techniques in bam,shahdad and garmsar regions,Iran[J]. Caspian Journal of Environmental Sciences,2021,19(1):47 − 57.

    [8]

    ZHANG Y,JIANG F. Developing a remote sensing-based ecological index based on improved biophysical features[J]. Journal of Applied Remote Sensing,2021,16(1):012008 − 012008.

    [9]

    SHNAIN S. Features extraction of lands at 7 images using tasseled cap transformation[J]. Journal of Al-Rafidain University College For Sciences,2021(1):215 − 223.

    [10]

    SRISUK S,ARUNYAGOOL D,PETCHTHAWEETHAM B. Fast change detection based on GPGS-PCA[C]//2020 8th International Electrical Engineering Congress (iEECON). IEEE,2020:1 − 4.

    [11] 王鹏. 遥感影像的ISODATA分类算法的并行化研究[D]. 开封:河南大学,2016.
    [12] 齐永菊,裴亮,张宗科,等. 一种模糊聚类的遥感影像分析方法研究[J]. 测绘科学,2017,42(7):139 − 146.
    [13]

    PAN H Y ,TONG X H,XU X,et al. Updating of land cover maps and change analysis using globe land 30 Product:a case study in shanghai metropolitan area,China[J]. Remote Sensing,2020,12(19):3147 − 3147. doi: 10.3390/rs12193147

    [14]

    WANG J,ZHANG J X,ZHANG R. An integrated method for change detection and map updating based on decision tree rules[J]. Remote Sensing Information,2007,1(4):61 − 65.

    [15]

    LIU X,GUO Y A. Remote sensing image change detection algorithm based on random forest[J]. Bulletin of Surveying and Mapping,2022(5):16 − 20.

    [16]

    LECUN Y ,BOTTOU L . Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE,1998,86(11):2278 − 2324.

    [17]

    RONNEBERGER O,FISCHER P,BROX T. U-net:Convolutional networks for biomedical image segmentation[C]//International Conference on Medical image computing and computer-assisted intervention. Springer,Cham,2015:234 − 241.

    [18]

    OKTAY O,SCHLEMPER J,FOLGOc L L,et al. Attention U-Net:Learning where to look for the pancreas[EB/OL]. [2024-03-20],http://arxiv.org/abs/1804.03999?sid_for_share=99125_3.

    [19]

    YU C Q, WANG J B,PENG C,et al. BiSeNet:Bilateral segmentation network for real-time semantic segmentation[J]. Computer Vision-ECCV 2018:15th European Conference,2018(11217):334 − 349.

    [20]

    ZHOU ZW,MD M R S,NIMA T,et al. Unet plus plus:a nested U-net architecture for medical image segmentation[J]. Lecture Notes in Computer Science,2018(11045):3 − 11.

    [21]

    HUANG Z L, WANG X G, WEI Y C,et al. CCNet:Criss-cross attention for semantic segmentation[J]. IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE,2023,45(6):6896 − 6908. doi: 10.1109/TPAMI.2020.3007032

    [22]

    CHEN L C,PAPANDREOU G,SCHROFF F,et al. Rethinking atrous convolution for semantic image segmentation[EB/OL]. [2024-02-13],https://arxiv.org/abs/1706.05587?sid_for_share=99125_3.

    [23]

    FU J,LIU J ,TIAN H J,et al. Dual attention network for scene segmentation[J]. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR),2019(02983):3141 − 3149.

    [24]

    LIANG CC,YUKUN Z,GEORGE P,et al. Encoder-decoder with atrous separable convolution for semantic image segmentation[C]//European Conference on Computer Vision,2018,11211:833 − 851.

    [25]

    QIN X,ZHANG Z,HUANG C,et al. U 2 -Net:Going deeper with nested U-structure for salient object detection[J]. Pattern Recognition,2020,106(C):107404 − 107404.

    [26]

    VIJAY B,ALEX K,ROBERTO C. SegNet:A deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE transactions on pattern analysis and machine intelligence,2017,39(12):2481 − 2495. doi: 10.1109/TPAMI.2016.2644615

    [27]

    ZHAO H S,SHI J P,QI X J,et al. Pyramid scene parsing network[J]. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2017(01105):6230 − 6239.

    [28]

    HUANG H M,LIN L F,TONG R F,et al. Unet 3+:a full-scale connected unet for medical image segmentation[C]. IEEE International Conference on Acoustics,Speech,and Signal Processing,2020,abs/2004.08790:1055 − 1059.

    [29]

    YU C,GAO C,WANG J,et al. BiseNet V2:bilateral network with guided aggregation for real-time semantic segmentation[J]. Springer US,2021(129):3051−3068.

    [30]

    WANG J,SUN K,CHENG T,et al. Deep high-resolution representation learning for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2021,43(10):3349 − 3364. doi: 10.1109/TPAMI.2020.2983686

    [31]

    POUDEL K P R,LIWICKI S,CIPOLLA R. Fast-SCNN:Fast semantic segmentation network[J]. British Machine Vision Conference,2019(04502):289 − 289.

    [32]

    HU J,SHEN L,SUN G. Squeeze-and-excitation networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018:7132 − 7141.

    [33]

    WOO S,PARK J,LEE J Y,et al. Cbam:Convolutional block attention module[C]//Proceedings of the European conference on computer vision (ECCV). 2018:3 − 19.

    [34] 艾遒一,黄华国,郭颖,等. 基于孪生残差神经网络的GF-2影像林地变化检测——以浙江省建德林场为例[J]. 遥感技术与应用,2024,39(1):24 − 33.
图(9)  /  表(4)
计量
  • 文章访问数:  34
  • HTML全文浏览量:  6
  • PDF下载量:  6
  • 被引次数: 0
出版历程
  • 收稿日期:  2024-05-23
  • 修回日期:  2024-09-27
  • 刊出日期:  2024-11-28

目录

/

返回文章
返回