自从ViT提出之后，在过去的一年里（2021年），基于transformer的模型在计算机视觉各个领域全面超越CNN模型。然而，这很大程度上都归功于Local Vision Transformer模型，Swin Transformer是其中重要代表。原生的ViT模型其计算量与图像大小的平方成正比，而Local Vision Transformer模型由于采用local attention（eg. window attention），其计算量大幅度降低，除此之外，Local Vision Transform

mindspore

NAS-FPN算法源自2019年Google Brain的论文 NAS-FPN: Learning Scalable Feature Pyramid Architecture for Object Detection。该论文NAS技术在目标检测领域的开山之作，主要集中在对FPN架构的搜索, 最大创新点在于搜索空间的设置。

mindspore

于2017年提出的I3D是由3D卷积+Two-Stream方法的结合形成一个新的网络架构。I3D（Two-Stream Inflated 3D ConvNets）模型是由2DCNN Inception-V1扩张而来，并且可以使用在ImageNet上预训练的参数，实验结果表明这个模型在各个标准数据集上都取得了当时最好的结果。另外论文中还公布了新的Human Action Video 数据：Kinetics，它有400个人类动作类以及每个类超过400个片段，收集自现实的、具有挑战性的网络视频。

mindspore

paddle version “CTRL: A Conditional Transformer Language Model for Controllable Generation”

paddlepaddle

使用国内深度学习开源框架PaddlePaddle（百度飞桨）复现推荐 CTR 算法 DIFM

paddlepaddle

这是一个mobileBert的基于paddle深度学习框架的复现 MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices.

paddlepaddle