基于光学仿真图像与少量真实样本风格迁移的方法

　　对于非合作目标智能分类任务，由于无法获取足够有效的样本图像来训练网络模型，使得网络易陷入过拟合的情况，直接影响了智能算法模型性能。因此围绕少量图像样本开展高价值样本数据扩增一直是遥感图像智能处理领域重点研究内容之一。现有的样本数据扩增方法主要包括基于图像变换的数据扩增方法、基于生成对抗网络的数据扩增方法以及基于图像仿真的数据扩增方法。基于图像变换的数据扩增方法只是对原始数据进行基本二维几何变换或灰度变化，难以实现立体目标探测、复杂场景的样本类型扩增；基于生成对抗网络的数据扩增方法，其训练过程对非合作场景样本数据数量和样本类型要求较高，同时生成图像会存在样本模糊、扭曲等不足；基于图像仿真的数据扩增方法通过对目标场景开展建模及物理仿真，能够制作生成多样化环境与目标特征的图像样本数据，但现有将仿真样本与真实样本简单混合的样本构建模式，由于忽略了仿真样本与真实样本存在的误差、风格差异以及两种数据集的特征分布差异，导致训练生成智能算法模型性能提升有限。

　　针对上述问题，中国科学院国家空间科学中心复杂航天系统电子信息技术院重点实验室李立钢研究员团队硕士生肖奇结合非合作目标智能分类的应用场景，提出了一种渐进式的光学遥感目标高价值图像样本数据扩增生成方法。该方法将整个数据扩增流程分为样本仿真生成阶段和风格迁移阶段：首先，在样本仿真生成阶段，基于物理仿真工具预先生成多样化类型的目标仿真图像样本，样本类型覆盖目标典型探测角度、探测能见度以及成像分辨率等，这一阶段的主要目的在于提高原始目标数据集的特征丰富度；然后在风格迁移阶段，通过构建风格迁移网络Sim2RealNet, Sim2RealNet以Densenet-121为主干网络，能够有效地提取仿真样本和真实图像内容信息和风格信息，从而实现从仿真样本到真实样本的风格迁移处理，该阶段的主要目的在于减少仿真样本与真实样本之间的域差异，整个数据扩增的处理流程如图1所示。为了验证文章所提出的方法有效性，研究人员针对六类目标进行了两组光学遥感目标分类实验，第一组分别利用传统图像变换数据扩增、图像仿真数据扩增以及本文提出的渐进式数据扩增方法开展样本扩增及分类模型训练，具体分类结果如图2所示；第二组对传统图像变换数据扩增、图像仿真数据扩增以及本文提出的渐进式数据扩增方法进行组合样本扩增及分类模型训练，具体分类结果如图3所示。第一组实验结果表明：与现有数据扩增方法相比，本文提出的方法能够使得光学遥感目标分类准确度平均提高5%；第二组实验结果表明：通过将本文提出的数据扩增方法与其他方法进行组合数据扩增，与单一使用现有方法扩增，光学遥感目标分类准确度仍然可以提高6%，表明本文提出的渐进式数据扩增方法在使用上具有较强的鲁棒性。相关理论研究成果为包括空间探测等非合作场景稀少样本目标的数据扩增提供了一种新颖有效的方法，已正式发表在国际遥感领域重要期刊IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 。

　　参考文献：Q. Xiao, B. Liu, Z. Li, W. Ni, Z. Yang and L. Li, "Progressive Data Augmentation Method for Remote Sensing Ship Image Classification Based on Imaging Simulation System and Neural Style Transfer," in IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 14, pp. 9176-9186, 2021, doi: 10.1109/JSTARS.2021.3109600.

　　论文链接：https://ieeexplore.ieee.org/document/9528039?denied=

　　图1 本文提出的渐进式遥感目标数据扩增方法

　　图2 对比试验一: 传统图像变换数据扩增、图像仿真数据扩增与本文方法对比实验结果

　　图3 对比试验二: 传统图像变换数据扩增、图像仿真数据扩增分别与本文方法联合使用实验结果