ECCV 2024 数据增强新方法!SUMix:语义和不确定信息的混合

研究背景

混合数据增强方法通过组合不同样本生成新数据，是提升深度神经网络泛化能力的有效手段。传统方法如CutMix、SaliencyMix等通过随机替换图像块生成混合样本，但存在语义信息破坏和标签不匹配问题，导致模型性能受限。

核心创新

• 可学习混合比率：设计相似度函数动态计算混合比例，替代传统固定比率，保留关键语义信息。
• 不确定性建模：引入正则项量化混合样本的不确定性，缓解标签误导问题。

技术实现

• 相似度函数：通过特征空间距离度量样本相关性，生成适配不同场景的混合比率。
• 不确定性正则化：基于贝叶斯理论或概率模型，对混合标签的置信度进行动态调整。

实验验证

• 数据集：在五个图像分类基准数据集上进行测试。
• 结果：显著提升基于cutting的混合方法的分类精度，证明方法的有效性。

应用价值

• 性能提升：作为“涨点神器”，可直接集成到现有模型训练流程中。
• 代码开源：提供完整实现代码，便于研究者复现和扩展。
• 领域适配：支持分类任务，并可扩展至检测、分割等其他视觉任务。

资源链接

• 代码：https://github.com/JinXins/SUMix
• 论文：https://arxiv.org/abs/2407.07805
• ECCV 2024合集：https://github.com/amusi/ECCV2024-Papers-with-Code

SUMix通过解决传统混合数据增强中的语义破坏和标签不匹配问题，为模型训练提供了更可靠的数据支持，其开源特性将进一步推动计算机视觉领域的技术发展。