本视觉Transformers（86M参数）在ImageNet上达到83.1％的top-1精度，蒸馏版本高达84.4%！优于ViT、RegNet和ResNet等，代码刚刚开源！

注：文末附【Transformer】学习交流群

Training data-efficient image transformers & distillation through attention

  • 作者单位：Facebook AI, 索邦大学。注：其中一位也是DETR的作者之一
  • 代码（不到一天，已经近200 star了）：https://github/facebookresearch/deit
  • 论文：https://arxiv/abs/2012.12877

最近，显示出纯粹基于注意力的神经网络可解决图像理解任务，例如图像分类。但是，这些视觉transformers使用昂贵的基础架构预先接受了数亿个图像的训练，从而限制了它们在更大的社区中的应用。关于视觉Transformer，推荐看一下这个最新综述：华为等提出视觉Transformer：全面调研

在这项工作中，通过适当的训练计划，我们仅通过在Imagenet上进行训练即可生产出具有竞争力的无卷积transformers。我们不到三天就在一台计算机上对其进行了训练。我们的视觉transformers（86M参数）在ImageNet上无需外部数据即可达到