该模型于 2021-06-25 在 HF papers 上发表，并于 2024-03-13 贡献至 Hugging Face Transformers。

Pyramid Vision Transformer V2 (PVTv2)

概述

PVTv2 模型由 Wenhai Wang、Enze Xie、Xiang Li、Deng-Ping Fan、Kaitao Song、Ding Liang、Tong Lu、Ping Luo 和 Ling Shao 在 PVT v2: Improved Baselines with Pyramid Vision Transformer 中提出。作为 PVT 的改进变体，它摒弃了位置嵌入，转而依赖通过零填充和重叠块嵌入编码的位置信息。这种对位置嵌入的摒弃简化了架构，并使得无需进行插值即可在任意分辨率下运行推理。

PVTv2 编码器结构已成功部署，在语义分割的 Segformer、单目深度估计的 GLPN 以及全景分割的 Panoptic Segformer 中均取得了最先进的性能分数。

PVTv2 属于分层 Transformer模型家族，该家族对 Transformer 层进行了调整，以生成多尺度特征图。与 Vision Transformer（ViT）的列式结构不同，后者会丢失细粒度细节，而多尺度特征图能够保留这些细节，并有助于提升密集预测任务的性能。在 PVTv2 中，这一目标是通过在每个编码器层中使用重叠核的 2D 卷积来生成图像块 token 实现的。

分层 Transformer 的多尺度特性使其能够轻松替换大型架构中传统的计算机视觉骨干模型，例如 ResNet。Segformer 和 Panoptic Segformer 均表明，使用 PVTv2 作为骨干网络的配置，其性能始终优于使用同等规模 ResNet 骨干网络的配置。

PVTv2 的另一个强大特性是用于自注意力层的复杂度降低技术，称为空间缩减注意力（Spatial Reduction Attention，SRA）。它使用 2D 卷积层将隐藏状态投影到更小的分辨率，然后再用查询向量对其进行注意力计算，从而将 $O(n^2)$ 自注意力的复杂度从 $O(n^2)$ 降低到 $O(n^2/R)$，其中 $R$ 为空间缩减比率（sr_ratio, 即 2D 卷积中的核大小和步长）。

SRA 在 PVT 中被引入，并且是 PVTv2 中默认使用的注意力复杂度降低方法。不过，PVTv2 还引入了使用与图像尺寸相关的线性复杂度自注意力机制的选项，他们将其称为 “Linear SRA”。该方法使用平均池化将隐藏状态缩减为固定大小，该大小与其原始分辨率无关（尽管这本质上比常规 SRA 损失更大）。通过在 PVTv2Config 中将 linear_attention 设置为 True，可以启用此选项。

论文的摘要

Transformer 最近在计算机视觉领域取得了令人鼓舞的进展。在这项工作中，我们通过引入三项设计来改进原始的 Pyramid Vision Transformer（PVT v1），从而提出了新的基线模型，这三项设计包括：（1）线性复杂度注意力层，（2）重叠的 patch 嵌入，以及（3）卷积前馈网络。通过这些修改，PVT v2 将 PVT v1 的计算复杂度降低至线性，并在分类、检测和分割等基础视觉任务上取得了显著提升。值得注意的是，所提出的 PVT v2 取得了与 Swin Transformer 等近期工作相当或更优的性能。我们希望这项工作能够推动计算机视觉领域最先进的 Transformer 研究。代码可在 https://github.com/whai362/PVT 获取。

该模型由 FoamoftheSea 贡献。原始代码可在此处找到。

使用技巧

• PVTv2 是一种分层 Transformer 模型，在图像分类及其他多项任务中均展现出卓越的性能。它被用作 Segformer 中语义分割、GLPN 中单目深度估计以及 Panoptic Segformer 中全景分割的骨干网络，其性能始终优于类似的 ResNet 配置。

• 像 PVTv2 这样的分层 Transformer 通过在编码器中融入卷积神经网络（CNN）的设计元素，在图像数据上实现了比纯 Transformer 架构更高的数据和参数效率。这种架构兼得两者之长：在保留 transformers 自注意力机制所带来的动态数据响应和全局关系建模优势的同时，将 CNN 的平移等变性和局部性等有用的归纳偏置注入网络。

• PVTv2 使用重叠的 patch 嵌入来创建多尺度特征图，并通过零填充和深度可分离卷积将位置信息注入其中。

• 为了降低注意力层的复杂度，PVTv2 使用步长 2D 卷积（SRA）或固定大小的平均池化（Linear SRA）对隐藏状态进行空间降采样。尽管 Linear SRA 本质上会丢失更多信息，但它能以与图像尺寸呈线性关系的复杂度提供出色的性能。要在自注意力层中使用 Linear SRA，请在 PvtV2Config 中设置 linear_attention=True。

• PvtV2Model 是分层 Transformer 编码器（在文献中也常被称为 Mix Transformer 或 MiT）。PvtV2ForImageClassification 在其上方添加了一个简单的分类器头，以执行图像分类任务。PvtV2Backbone 可以与 AutoBackbone 系统配合使用，应用于 Deformable DETR 等更大的架构中。

• 所有模型尺寸的 ImageNet 预训练权重都可以在 hub 上找到。

  使用 AutoModelForImageClassification 加载您所需尺寸的预训练检查点，是开始使用 PVTv2 的最佳方式：

import requests
import torch
from PIL import Image

from transformers import AutoImageProcessor, AutoModelForImageClassification


model = AutoModelForImageClassification.from_pretrained("OpenGVLab/pvt_v2_b0", device_map="auto")
image_processor = AutoImageProcessor.from_pretrained("OpenGVLab/pvt_v2_b0")
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
processed = image_processor(image)
outputs = model(torch.tensor(processed["pixel_values"]))

要将 PVTv2 用作 DeformableDETR 等更复杂架构的骨干网络，您可以使用 AutoBackbone（由于您正在替换预训练模型中的骨干网络，且其以随机权重初始化，因此该模型需要进行微调）：

import requests
import torch
from PIL import Image

from transformers import AutoConfig, AutoImageProcessor, AutoModelForObjectDetection


model = AutoModelForObjectDetection.from_config(
    config=AutoConfig.from_pretrained(
        "SenseTime/deformable-detr",
        backbone_config=AutoConfig.from_pretrained("OpenGVLab/pvt_v2_b5"),
    ),
)

image_processor = AutoImageProcessor.from_pretrained("SenseTime/deformable-detr")
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
processed = image_processor(image)
outputs = model(torch.tensor(processed["pixel_values"]))

PVTv2 在 ImageNet-1K 上按模型大小（B0-B5）的性能：

PvtV2Config

>>> from transformers import PvtV2Model, PvtV2Config

>>> # Initializing a pvt_v2_b0 style configuration
>>> configuration = PvtV2Config()

>>> # Initializing a model from the OpenGVLab/pvt_v2_b0 style configuration
>>> model = PvtV2Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

PvtForImageClassification

>>> from transformers import AutoImageProcessor, PvtV2ForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("OpenGVLab/pvt_v2_b0")
>>> model = PvtV2ForImageClassification.from_pretrained("OpenGVLab/pvt_v2_b0")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...

PvtModel