图形图像技术 | 基于频域动态增强与掩码感知门控融合的图像修复网络
图形图像技术 | 基于频域动态增强与掩码感知门控融合的图像修复网络
摘 要: 针对图像修复任务中传统方法存在固定频率划分难以适应不同数据、局部与全局特征融合失衡及下采样信息丢失等问题,提出了一种基于频域动态增强与掩码感知门控融合的端到端网络。首先,设计动态高低频率注意力模块,动态调整频率划分边界及各频带对特征的贡献度,解决传统固定频率分离无法适配不同数据的问题;其次,构建动态门控融合模块,平衡高频细节与低频结构的重建精度,缓解复杂掩膜导致的局部特征退化与全局上下文割裂,减少伪影生成;最后,提出几何感知掩码引导下采样,借助双注意力机制增强特征表达,融合下采样特征与原始特征,利用门控机制平衡特征贡献度,避免信息丢失。在 CelebA-HQ 数据集上,相比当前最优方法 HINT,所提方法在低掩码比例(0.01%~20%)下 PSNR 提升 0.32%,SSIM 提升 0.75%,L1 降低 11.7%;在 Places2 数据集上,相比当前最优方法 MxT,在中高掩码比例(20%~60%)下 PSNR 提升 1.85%~1.89%,SSIM 提升 1.76%~2.6%,LPIPS 降低 9%~36.7%。实验表明,该方法在保持视觉质量的同时有效提升了图像修复的定量指标。