2023年11月25日发(作者：)

复制-粘贴⼤法（Copy-Paste）：简单⽽有效的数据增强

论⽂标题：

Simple Copy-Paste is a Strong Data Augmentation Method for Instance Segmentation

论⽂地址：

⾮官⽅代码：

⽬录

1、摘要

建⽴有效的实例分割模型，并能处理罕见的对象类别是计算机视觉中⼀个重要的挑战。数据增强是应对这⼀挑战的⼀个有前途的⽅向。在这

⾥，我们在实例分割⽅向对复制-粘贴增强进⾏了系统的研究，如随机地将对象粘贴到⼀张图像上。先前对复制粘贴的研究依赖于对周围视

觉环境的建模来。然⽽，我们发现随机粘贴对象的简单机制已经⾜够好了，并且可以在强baseline之上提供稳定的增益。此外，我们通过半

是指利⽤公式将两幅图像的内容混合在⼀起；公式中，是粘贴对象所在的图像，是主

图像，是mask掩模；公式的意思其实很淳朴，就是将中mask部分的像素抠出来，然后粘贴到中，当然，这个过程有很⼤的随

机性。

混合粘贴的效果如下图：

机性：（1）选择⽤于粘贴的源图和⽬标图的随机性；（2）选择粘贴源图中哪些对象的随机性；（3）选择粘贴到⽬标图像的哪些位置的随

⼤尺度抖动

⼤尺度抖动（Large Scale Jittering，LSJ）是相较于标准尺度抖动（standard scale jittering，SSJ）⽽⾔更为⼤胆的⼀种尺度抖动⽅

法。在SSJ中，尺度变化的范围是0.8~1.25，⽽在LSJ中，尺度变化范围是0.1~2.0；如此⼤范围的抖动，会产⽣对⽐强烈的抖动效果。此

外，⽆论LSJ还是SSJ，都使⽤了随机⽔平翻转。LSJ的最终效果如下图：

此外，结合⾃训练，此⽅法同样能够带来可叠加的收益 。

4.2 和mixup的对⽐

可以看出，在SSJ的实验（左）中，mixup和Copy-Past都能带来收益，但Copy-Past带来的收益更⼤；但在LSJ的实验（右）中，mixpu

带来的收益就⼏乎没有了，猜测原因应该是LSJ已经⾜够优秀了，常规的增强⽅法并不能带来超出LSJ的收益，⽽Copy-Past就可以。

4.3 在不同backbone和输⼊尺⼨上的对⽐

从下表可以看出，使⽤了复制粘贴⼤法，在所有模型、输⼊尺度上都能带来稳定收益。

4.4 结合⾃训练和复制粘贴

⾃训练利⽤未标记数据，可带来1.5 Box AP，复制粘贴同样也能带来类似的收益；将两者结合起来⽤，可以带来“1+1=2”的线性叠加的

收益！（能够使收益线性叠加，是真的强！）

将coco中的对象粘贴到coco和粘贴到伪标签数据的对⽐，可以看出，⽆论粘贴到哪⾥都能带来收益，但两者都粘贴则能带来“1+1>2”的

收益：

4.5 在coco的SOTA模型上的实验

相⽐SOTA模型，添加了复制粘贴和⾃训练的⽅法后，带来的收益同样可观：

4.6 在 PASCAL VOC⽬标检测和语义分割上的实验

实验表明，复制粘贴⼤法对⽬标检测和实例分割同样有效：

4.7 LVIS数据集上的实验

5 总结

数据增强是许多视觉系统的核⼼。本⽂对复制-粘贴数据增强⽅法进⾏了严格的研究，发现该⽅法是⾮常有效和健壮的。在强⼤的baseline