精度 98.27%！Mamba-MPSE：无人机高光谱湿地分类新范式

文章标题：Mamba-MPSE：基于 Mamba 模型的多模式状态演化方法面向无人机高光谱影像同类异质性湿地分类

Mamba-MPSE: Multipattern State Evolution Based on the Mamba Model for Intraclass Heterogeneous Wetland Classification With UAV Hyperspectral Imagery

研究单位：郑州航空大学

摘要：

高光谱影像中，受局部环境变化与空间分布不均影响，易产生类内异质性，造成光谱、空间维度特征差异显著，制约单一建模机制的分类性能。基于选择性状态空间模型（SSM）构建的 Mamba 模型能够融合局部感知与长距离依赖建模，但其状态演化矩阵仅采用单一演化模式，难以对异质特征实现动态自适应。针对该问题，本文提出一种融合多模式状态演化（MPSE）与双路谱空（DP-SS）建模的一体化框架。MPSE 为隐状态引入多种可学习演化模式，使每个样本能够动态融合多类历史信息，进而捕获类内谱空异质性；同时，DP-SS 分别沿光谱支路与空间支路开展特征建模，强化光谱变化趋势与空间结构表征，并对两路特征进行自适应全局融合。两大模块协同作用，提升模型对类内异质地物的区分能力。基于自建黄河湿地无人机高光谱数据集开展试验，结果表明：所提方法性能显著优于现有算法，总体精度（OA）达 98.27%，平均精度（AA）为 98.84%，Kappa 系数 98.63%，为高精度细粒度高光谱影像分类提供新思路。

数据采集：

本研究依托大疆 M300 无人机搭载X20P框幅式高光谱成像系统，在郑州黄河湿地公园开展野外飞行试验，获取同一区域秋季、冬季两期无人机高光谱数据。X20P高光谱传感器光谱覆盖范围 350～1000 nm，共计 164 个波段，光谱分辨率 4 nm，获取影像的地面采样距离约 1 cm。

图1无人机高光谱遥感数据采集系统

表 1 无人机平台主要技术参数

表2 X20P 机载高光谱成像仪主要技术参数

研究方法：

图2研究区域。(a) 郑州黄河湿地公园卫星影像。(b) 选取的典型样区，展示无人机获取的高光谱假彩色影像，波段组合为红通道 (638 nm)、绿通道 (550 nm)、蓝通道 (470 nm)

图3野外调查地物类别实拍示例。(a) 柳树，(b) 芦苇，(c) 杨树，(d) 白茅，(e) 芒草，(f) 道路，(g) 黄河水体，(h) 滩涂

表3 黄河湿地（秋冬季）数据集训练集与测试集样本数量

图4秋冬季高光谱假彩色影像及对应的感兴趣区域标注（左：秋季；右：冬季）。数据由无人机在 400 m 飞行高度获取。上图为高光谱假彩色影像，尺寸为 (330, 330, 150)（高度 × 宽度 × 波段数）；秋季数据大小约 62.5 MB，冬季数据约 61.8 MB。显示波段组合：红 (638 nm)、绿 (550 nm)、蓝 (470 nm)，数据采用浮点型存储。下图为对应的感兴趣区域（ROI）标注图，图例中不同颜色代表不同地物类型。

图5 秋冬季高光谱假彩色影像及对应的感兴趣区域标注（左：秋季；右：冬季）。数据由无人机在 400 m 飞行高度获取。上图为高光谱假彩色影像，尺寸为 (330, 330, 150)（高度 × 宽度 × 波段数）；秋季数据大小约 62.5 MB，冬季数据约 61.8 MB。显示波段组合：红 (638 nm)、绿 (550 nm)、蓝 (470 nm)，数据采用浮点型存储。下图为对应的感兴趣区域（ROI）标注图，图例中不同颜色代表不同地物类型。

图 6 本组图为 8 类地物各随机选取 3 个训练像元，在第 10 波段提取像元周边 11×11 空间斑块并灰度可视化。各子图分别对应一类地物的单个斑块。(a) 柳树，(b) 芦苇，(c) 杨树，(d) 白茅，(e) 芒草，(f) 道路，(g) 黄河水体，(h) 滩涂。

图7 本组图展示 8 种地物训练样本空间掩膜。各掩膜图中黑色为背景区域，白色点簇代表对应地物类型的空间分布。

(a) 柳树，(b) 芦苇，(c) 杨树，(d) 白茅，(e) 芒草，(f) 道路，(g) 黄河水体，(h) 滩涂。

图8 本组图为不同地物类型光谱反射率曲线；横轴为光谱波段，纵轴为反射率。曲线周边同色阴影区域代表各类样本在各波段上的反射率取值范围。(a) 各类地物平均光谱曲线；(b) 附带标准差的各类地物平均光谱曲线。底部图例标注各类颜色对应的地物类别。

图9 MPSE 在选择性状态空间模型（SSM）中的作用。白色背景上半部分为原始SSM结构；下半部分展示三模式状态演化流程。输出结果依次经过对数运算、可学习缩放因子、拼接与归一化处理，得到权重向量。模型包含两条支路：一条为主输出支路，通过原始 SSM 更新隐状态ht；另一条支路参与输出量yt的计算。

图10 DP-SS 结构示意图。尺寸为B×C×H×W的输入高光谱数据块经过维度重塑后，分别送入光谱支路与空间支路。两条支路依次通过线性层、Mamba-MPSE 模块、SDM 模块开展特征处理；两路输出特征相加融合后，再经由SCF模块完成特征聚合，输出最终分类预测结果。下方图例说明各类运算与模块标识。

图11黄河口高光谱数据集假彩色影像与样本分布图。(a) 假彩色影像；(b) 训练样本分布；(c) 测试样本分布。底部图例标注各类颜色对应的地物类别。

表4黄河口数据集训练集与测试集样本数量。

表5博茨瓦纳数据集训练集与测试集样本数量

图12 博茨瓦纳高光谱数据集假彩色影像与样本分布图。(a) 假彩色影像；(b) 训练样本分布；(c) 测试样本分布。底部图例标注各类颜色对应的地物类别。

图13 黄河湿地（秋季）数据集分类结果可视化。(a) 2D-CNN 分类结果，(b) 3D-CNN 分类结果，(c) MSTNet 分类结果，(d) LESSFormer 分类结果，(e) MASSFormer 分类结果，(f) MambaHSI 分类结果，(g) 3DSS-Mamba 分类结果，(h) HyperMamba 分类结果，(i) HSI-MFormer 分类结果，(j) Mamba-MPSE 分类结果。底部图例标注各类颜色对应的地物类别。

图14 黄河口数据集分类结果可视化。

(a) 2D-CNN 分类结果，(b) 3D-CNN 分类结果，(c) MSTNet 分类结果，(d) LESSFormer 分类结果，(e) MASSFormer 分类结果，(f) MambaHSI 分类结果，(g) 3DSS-Mamba 分类结果，(h) HyperMamba 分类结果，(i) HSI-MFormer 分类结果，(j) Mamba-MPSE 分类结果。底部图例标注各类颜色对应的地物类别。

表6 不同方法在黄河湿地（秋季）数据集上的分类精度（单位：%）

表7 不同方法在黄河口数据集上的分类精度（单位：%）

表8 不同方法在黄河湿地（冬季）数据集上的分类精度（%）。

表9不同方法在博茨瓦纳数据集上的分类精度（%）。

表10 不同湿地数据集上的消融实验结果。

图15 该图展示分组数分别取 3、5、10、15 时，模型在黄河湿地（秋季）数据集与黄河口数据集上训练 200 轮的损失曲线与精度曲线。左半部分为不同分组数对应的损失 - 训练轮次曲线，右半部分为对应的精度 - 训练轮次曲线；曲线颜色参照图例（蓝色：分组数 = 3，橙色：分组数 = 5，绿色：分组数 = 10，红色：分组数 = 15）。

(a) 黄河湿地（秋季）数据集；(b) 黄河口数据集。

研究结论：

本研究面向高光谱湿地分类实际应用需求，构建了“数据采集—问题剖析—模型创新—性能验证”完整研究闭环。依托自主数据采集方案，团队赴黄河湿地开展野外调查，获取无人机高光谱数据，构建了能够实现从“实景场景”到“建模样本”精准映射的数据集。通过对实测数据深度分析，系统揭示湿地地物类型存在类内异质性这一核心特征。针对传统 Mamba 模型存在的缺陷，本文提出多模式状态演化（MPSE）机制，并设计双路谱空（DP-SS）结构，搭建一体化 Mamba-MPSE 模型。试验结果表明，在湿地分类任务中，该模型性能优于各类基于卷积神经网络、Transformer 以及原始 Mamba 的主流先进算法。整套研究流程具备良好可复现性，可为“数据—问题—模型”联动创新的高光谱遥感分类研究提供范式参考。

依托所构建的 Mamba-MPSE 模型及其在湿地高光谱分类中取得的初步成果，后续研究可从四个方向继续深化。

第一，推进动态多模式自适应优化。当前 MPSE 的模式数量依靠经验设定，未来可研究数据驱动的动态模式选取方法，使其灵活适配不同地物类型的异质特征。

第二，提升模型机制的可解释性与理论深度。后续可借助特征可视化、梯度归因等手段，逐步揭示 MPSE 与 DP-SS 协同捕获类内异质性的内在作用机理；同时进一步挖掘状态空间模型（SSM）在高光谱数据中的理论应用，厘清状态演化与地物谱空特征之间的数学关联，为高光谱序列建模夯实理论基础。

第三，拓展生态领域应用场景。可将现有分类模型应用于湿地生态评价任务，例如植被覆盖度估算、水体边界提取、入侵物种监测等 。结合长时序高光谱时间序列数据，有望构建“分类 — 变化检测 — 趋势预测”一体化模型，为湿地生态系统动态监测、退化风险预警提供技术支撑，推动现有技术研究成果转化为可落地的生态管理决策依据。

第四，当前 Mamba-MPSE 模型仅利用高光谱数据，无法融合高程、结构特征等互补信息。已有研究证实多源数据融合在湿地分类中具备巨大潜力：例如多源特征嵌入交互融合网络（MsFE-IFN） 将高光谱影像与激光雷达特征联合嵌入并交互融合以提升分类精度；实例级域泛化网络（IDGnet）利用高光谱与激光雷达数据解决跨场景泛化难题。融入多源数据能够进一步丰富类内特征、提升模型泛化能力，是极具前景的后续研究方向。

原文链接：https://ieeexplore.ieee.org/document/11449294