机器之心报告
机器之心编辑部
字节跳动的研究人员提出了 Next-ViT，这是一种可以有效部署在现实世界工业场景中的下一代愿景。Next-ViT 可以像 CNN 一样快速推断，并具有与 ViT 相同的强大性能。
由于复杂的注意力机制和模型设计，大多数现有的视觉 (ViT) 在现实的工业部署场景中无法像卷积神经网络 (CNN) 那样高效地执行。这就提出了一个问题：视觉神经网络能否像 CNN 一样快速推断并且像 ViT 一样强大？
最近的一些工作试图设计 CNN 混合架构来解决这个问题楼宇自控扩展模块，但这些工作的整体性能远不能令人满意。基于此，字节跳动的研究人员提出了下一代愿景——Next-ViT，可以有效地部署在真实的工业场景中。从延迟/准确性权衡的角度来看，Next-ViT 的性能可与出色的 CNN 和 ViT 相媲美。
论文地址：
Next-ViT 的研究团队部署了友好的机制，通过开发新的卷积块 (NCB) 和块 (NTB) 来捕获本地和全局信息。然后，本研究提出了一种新的混合策略 NHS，旨在将 NCB 和 NTB 堆叠在一种高效的混合范式中，从而提高各种下游任务的性能。
大量实验表明，Next-ViT 在各种视觉任务的延迟/准确性权衡方面明显优于现有的 CNN、ViT 和 CNN 混合架构。最重要的是，Next-ViT 在 COCO 检测任务上高出 5.4 mAP（40.4 VS 45.8），在分割时 mIoU 高出 8.2%（38.8% VS 47.0%）。同时，Next-ViT 实现了与 CSWin 相当的性能，推理速度提高了 3.6 倍。最重要的是，Next-ViT 在分割方面的表现优于 COCO 检测任务 4.6 mAP（42.6 VS 47.2）和 3.5% mIoU（从 45.2% 到 48.7%）。
方法
Next-ViT 的整体架构如下图 2 所示。Next-ViT 遵循分层金字塔架构，在每个阶段配备一个补丁嵌入层和一系列卷积或块。空间分辨率将逐渐降低至原来的1/32，通道维度将逐步扩大。
研究人员首先深入设计了信息交互的核心模块，并分别开发了强大的 NCB 和 NTB 来对视觉数据中的短期和长期依赖关系进行建模。NTB中也进行了局部和全局信息的融合，进一步提高了建模能力。最后，为了克服现有方法的固有缺点，本研究系统地研究了卷积和块的集成，并提出了一种 NHS 策略，将 NCB 和 NTB 堆叠起来，以构建一种新颖的 CNN-混合架构。
中央银行
研究人员分析了几种经典的结构设计，如下图3所示。[9] 中提出的块由于其固有的归纳偏差和在大多数硬件平台上易于部署，长期以来一直主导视觉神经网络。不幸的是，块的效率低于块。Block [20] 通过模仿其设计使该块现代化。虽然块提高了网络性能，但它对 / 的推理速度受到低效组件的严重限制。Block 在各种视觉任务中都取得了优异的成绩，但由于注意力机制复杂，Block 的推理速度比 Block 及以上的要慢得多，这在大多数现实的工业场景中是无法承受的。
为了克服上述几种区块的问题，本研究提出了Next Block（NCB），在保持区块部署优势的同时，获得区块的出色性能。如图 3(f) 所示，NCB 遵循已被证明对块至关重要的通用架构。
此外，一个高效的基于注意力的令牌混合器同样重要。本研究设计了一个多头卷积注意力（MHCA）作为部署卷积操作的高效令牌混合器，并在 [40] 的范式中使用 MHCA 和 MLP 层构建 NCB。
非关税壁垒
NCB 有效地学习了局部表示，下一步是捕获全局信息。该架构具有很强的捕获低频信号的能力，可以提供全局信息（如全局形状和结构）。
然而，相关研究发现，块可能会在一定程度上降低高频信息，例如局部纹理信息。不同频段的信号在人类视觉系统中是必不可少的，它们以特定的方式融合在一起，以提取更多本质和独特的特征。
受这些已知结果的影响，该研究开发了 Next Block (NTB)，以在轻量级机制中捕获多频信号。此外，NTB 可用作高效的多频信号混频器，进一步增强整体建模能力。
NHS
最近的一些工作试图将 CNN 和 CNN 结合起来以实现高效部署。如下图 4(b)(c) 所示，它们几乎都在浅层阶段使用卷积块，并且只堆叠最后一两个阶段的块，这种组合在分类任务上是有效的。但研究发现，这些混合策略很容易使分割和检测等下游任务的性能饱和。原因是分类任务只使用最后一个阶段的输出进行预测，而下游任务如分割和检测通常依靠每个阶段的特征来获得更好的结果。这是因为传统的混合策略只是在最后几个阶段堆叠块，而浅层无法捕获全局信息。
本研究提出了一种新的混合策略 (NHS)，它创造性地将卷积块 (NCB) 和块 (NTB) 与 (N+1)*L 混合范式结合起来。NHS 显着提高了模型在下游任务上的性能，并在控制块规模的同时实现了高效部署。
首先，为了赋予浅层捕获全局信息的能力，本研究提出了一种（NCB×N+NTB×1）模式混合策略，在每个阶段依次堆叠N个NCB和一个NTB，如图4所示(d) 所示。具体来说，在每个阶段的末尾放置一个块（NTB），使模型能够学习浅层中的全局表示。本研究通过一系列实验验证了所提出的混合策略的优越性，不同混合策略的性能如下表1所示。
此外，如下表2所示，大型模型的性能逐渐饱和。这种现象说明通过扩大(NCB×N+NTB×1)模式的N来扩大模型尺寸，即简单地增加更多的卷积块，并不是最优的，(NCB×N+NTB×1)模式的N的值in 会严重影响模型性能。
因此，研究人员开始通过大量实验探索 N 值对模型性能的影响。如表2（中）所示，研究在第三阶段构建了不同N值的模型。为了建立具有相似延迟的模型以进行公平比较，本研究在 N 值较小时堆叠 L 组 (NCB × N + NTB × 1) 模式。
如表 2 所示，第三阶段 N = 4 的模型在性能和延迟之间取得了最佳折衷。本研究通过在第三阶段扩大 (NCB × 4 + NTB × 1) × L 模式的 L 来进一步构建更大的模型。如表 2（底部）所示，Base (L = 4) 和 Large (L = 6) 模型的性能明显优于小模型，验证了所提出的 (NCB × N + NTB × 1) × L 模型一般有效性。
最后，为了与现有的 SOTA 网络进行公平比较，我们提出了三个典型的变体，即 Next-ViTS/B/L。
实验结果
- 1K上的分类任务
与 CNN、ViT 和混合网络等最先进的 SOTA 方法相比，Next-ViT 实现了准确率和延迟之间的最佳权衡，结果如下表 4 所示。
语义分割任务
本研究将 Next-ViT 与 CNN、ViT 以及一些最近用于语义分割任务的混合架构进行了比较。如下表 5 所示，大量实验表明 Next-ViT 在分割任务上具有出色的潜力。
对象检测和实例分割
在目标检测和实例分割任务上，本研究将 Next-ViT 与 SOTA 模型进行了比较，结果如下表 6 所示。
消融实验和可视化
为了更好地理解 Next-ViT，我们通过评估其在 -1K 分类和下游任务上的性能来分析每个关键设计的作用，并可视化输出特征的傅里叶光谱和热图，以展示 Next - ViT 的内在优势。
如下表 7 所示，NCB 在所有三个任务上实现了最佳延迟/准确度权衡。
对于 NTB 块，本研究探讨了 NTB 的收缩 r 对 Next-ViT 整体性能的影响，结果如下表 8 所示，降低收缩 r 将减少模型延迟。
此外，r = 0.75 和 r = 0.5 的模型比纯 (r = 1) 模型表现更好。这表明以适当的方式融合多频信号将增强模型的表示学习能力。特别是，r = 0.75 的模型实现了最佳的延迟/准确度权衡。这些结果说明了 NTB 块的有效性。
本研究进一步分析了 Next-ViT 中不同归一化层和激活函数的影响。如下表 9 所示，虽然 LN 和 GELU 带来了一些性能提升，但在 . 另一方面，BN 和 ReLU 在整个任务上实现了最佳的延迟/准确度权衡。因此，Next-ViT 统一使用 BN 和 ReLU 在现实世界的工业场景中进行高效部署。
最后，该研究将 Swin 和 Next-ViT 的输出特征的傅里叶光谱和热图可视化，如下图 5(a) 所示。, 的谱分布表明卷积块倾向于捕捉高频信号，难以聚焦低频信号；ViT擅长捕捉低频信号，忽略高频信号；而Next-ViT可以同时捕捉到高质量的多频信号，可见NTB的有效性。性别。
另外，如图5(b)所示，Next-ViT比Swin能捕捉到更丰富的纹理信息和更准确的全局信息，这表明Next-ViT具有更强的建模能力。