本视觉Transformers（86M参数）在ImageNet上达到83.1％的top-1精度，蒸馏版本高达84.4%！优于ViT、RegNet和ResNet等，代码刚刚开源！ 注：文末附【Transformer】学习交流群Train

论文核心 论文提出了一种结构化剪枝策略，剪枝对象为 channel ，对 channel 重要性的评价标准使用的是 Batch Normalization 层中的缩放因子，这不会给网络带来额外的开销。 论文细节品读 带 L 1 L1 L

本文主要对Facebook最近提出来的DeiT模型进行阅读分析。一、动机：DeiT解决什么问题？ 现有的基于Transformer的分类模型ViT需要在海量数据上（JF

这篇文章主要是通过一些训练策略和知识蒸馏来提升模型的训练速度和性能效果。 原文链接：Training data-efficient image transformers & distillation thro

这里我们把每列当成像素, 每行当成不同的label, 这里有四种label. 然后我们需要算在每个点比如第一列第二行的点则为 Q 1 ( x 1第 二 种 l a b e l ) Q_1(x_1第二种label) Q1​(x1​第二