ATC：多快好省，无参数tokenreduction方法|ECCV'24

转载作者：撒哈拉更新时间：2024-11-06 10:12:36

55

4

来源：晓飞的算法工程笔记公众号，转载请注明出处。

论文: Agglomerative Token Clustering 。

论文地址：https://arxiv.org/abs/2409.11923
论文代码：https://github.com/JoakimHaurum/ATC

创新点

提出了层次token聚类（Agglomerative Token Clustering，ATC），这是一种新型的无参数层次合并的token减少方法。
基于ATC，在图像分类、图像合成，以及目标检测和分割任务上实现了最先进的性能，超越了所有其他token减少方法，包括基于合并的和基于修剪的token减少方法。
在图像分类和目标检测与分割任务中，ATC可以在未经过任何微调的情况下（即开箱即用），达到与之前微调的最先进性能相当的效果。

内容概述

层次token聚类（Agglomerative Token Clustering，简称ATC）是一种新型的token合并方法，在图像分类、图像合成以及目标检测与分割任务中始终优于以往的token合并和修剪方法。ATC通过自下而上的层次聚类来合并簇，而无需引入额外的可学习参数.

在所有任务中，ATC都实现了最先进的性能。在不进行微调的情况下，甚至可以与之前的最先进技术相媲美。ATC在低保留率下尤其有效，此场景仅保留了少量的token，而保持任务性能尤其困难.

层次`token`聚类

与之前的token合并方法类似，ATC的目标是合并冗余token，同时保持或提升ViT模型的性能。在ViT块的自注意力和多层感知机（MLP）模块之间插入token合并操作，这与之前的基于合并的方法是一致的，比如ToMe.

层次聚类是一种经典的自下而上的层次聚类方法，其中每个元素最初都是其自身的聚类。通过根据某种连结函数和距离度量 \(D(\cdot)\) 迭代比较聚类，将两个最接近的聚类在每次迭代中合并。这一过程会持续进行，直到满足某个停止标准，例如所需聚类的数量（形成静态缩减方法），或者聚类之间的最小距离（形成动态缩减方法）.

论文考虑静态缩减场景，使用余弦距离作为距离度量 \(D(\cdot)\) ，并使用自注意力模块的键作为token特征。连结函数的选择对元素的聚类方式会有很大影响，主要有三种最常见的连结函数：单个，完整和平均.

\[\begin{equation} D(I,J)^{\text{single}} = \min_{i\in I,\ j\in J} D(i,j) \end{equation} \]

\[\begin{equation} D(I,J)^{\text{complete}} = \max_{i\in I,\ j\in J} D(i,j) \end{equation} \]

\[\begin{equation} D(I,J)^{\text{average}} = \frac{1}{|I||J|}\sum_{i\in I}\sum_{j\in J}D(i,j) \end{equation} \]

其中 \(I\) 和 \(J\) 是包含元素 \(i \in I\) 和 \(j \in J\) 的聚类.

在达到停止标准之后，对每个聚类中的token进行平均，以获得更新的聚类表示。然而，随着token的合并，它们代表的不止一个输入图像块。为了更好地利用能够捕捉更大空间范围的token，使用加权平均作为聚类表示，并在自注意力模块中使用成比例的注意力.

主要实验

如果本文对你有帮助，麻烦点个赞或在看呗～更多内容请关注微信公众号【晓飞的算法工程笔记】。

work-life balance.

最后此篇关于ATC：多快好省，无参数tokenreduction方法|ECCV'24的文章就讲到这里了,如果你想了解更多关于ATC：多快好省，无参数tokenreduction方法|ECCV'24的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

55

4

0

文章推荐： AOT使用经验总结

文章推荐：让性能提升56%的Vue3.5响应式重构之“版本计数”

文章推荐： manim边学边做--三维的点和线

c++ - 按位置查找未标记的模板选项/参数/参数
简而言之:我想从可变参数模板参数中提取各种选项，但不仅通过标签而且通过那些参数的索引，这些参数是未知的标签。我喜欢 boost 中的方法(例如 heap 或 lockfree 策略)，但想让它与 S
Excel IF 语句 3 参数参数
我可以对单元格中的 excel IF 语句提供一些帮助吗？它在做什么？对“BaselineAmount”进行了哪些评估？ =IF(BaselineAmount, (Variance/Baselin
c# - 有没有办法在异步方法中使用 out 参数？如果没有，谁能建议我如何从异步方法返回 OUT 参数？
我正在使用以下方法: public async Task Save(Foo foo,out int param) { ....... MySqlParameter prmparamID
delphi - 如何清除“运行”->“参数”菜单中的“参数”字段？
我正在使用 CodeGear RAD Studio IDE。为了使用命令行参数测试我的应用程序，我多次使用了“运行 -> 参数”菜单中的“参数”字段。但是每次我给它提供一个新值时，它都无法从“下拉
java - Integer.toString(参数) 或 toString(参数)
我已经为信用卡类编写了一些代码，粘贴在下面。我有一个接受上述变量的构造函数，并且正在研究一些方法将这些变量格式化为字符串，以便最终输出将类似于号码:1234 5678 9012 3456 截止日期:
MySql IN 参数 - 在存储过程中使用时，VarChar IN 参数 val 是否需要单引号？
MySql IN 参数 - 在存储过程中使用时，VarChar IN 参数 val 是否需要单引号？我已经像平常一样创建了经典 ASP 代码，但我没有更新该列。我需要引用 VarChar 参数吗？
javascript - 创建一个有两个参数的函数，参数 a 将是一个数组，参数 b 将在数组中查找一个元素
给出了下面的开始，但似乎不知道如何完成它。本质上，如果我调用 myTest([one, Two, Three], 2); 它应该返回元素 third。必须使用for循环来找到我的解决方案。 funct
c - long int 参数 != long int 参数
将 1113355579999 作为参数传递时，该值在函数内部变为 959050335。调用(main.c): printf("%d\n", FindCommonDigit(111335557999
java - 为什么修改了 ArrayList 参数，但没有修改 String 参数？
这个问题在这里已经有了答案: Is Java "pass-by-reference" or "pass-by-value"? (92 个回答) 关闭9年前。 public class StackOve
c - scanf(参数) == 1 vs 1 == scanf(参数) 没有区别吗？
我真的很困惑，当像 1 == scanf("%lg", &entry) 交换为 scanf("%lg", &entry) == 1 没有区别。我的实验书上说的是前者，而我觉得后者是可以理解的。 1 =
Delphi 中的 Windows API 参数 - 使用或不使用 @ 运算符传递 var 参数？
我正在尝试使用调用 SetupDiGetDeviceRegistryProperty 的函数使用德尔福 7。该调用来自示例函数 SetupEnumAvailableComPorts .它看起来像这样:
php - MySQL如何从年份(参数)、weekOfYear(参数)、时间(数据库)和dayofweek(数据库)创建时间戳？
我需要在现有项目上实现一些事件的显示。我无法更改数据库结构。在我的 Controller 中，我(从 ajax 请求)传递了一个时间戳，并且我需要显示之前的 8 个事件。因此，如果时间戳是(转换后)
ruby-on-rails - ||如何工作？ : @client = client. 查找(参数[:client_id] || 参数[:id])
rails 新手。按照多态关联的教程，我遇到了这个以在create 和destroy 中设置@client。 @client = Client.find(params[:client_id] || p
java - 无法通过 .bat 文件设置 JVM 参数/参数(Xmx 和 Xms)
通过将 VM 参数设置为 -Xmx1024m，我能够通过 Eclipse 运行 Java 程序-Xms256M。现在我想通过 Windows 中的 .bat 文件运行相同的 Java 程序 (jar)
c++ - 如何从 C++ 调用 Delphi DLL WideString 参数(包括 var 参数)
我有一个 Delphi DLL，它在被 Delphi 应用程序调用时工作并导出声明为的方法: Procedure ProduceOutput(request,inputs:widestring; va
amazon-web-services - AWS Proton 参数 - 阐明如何在 CF 模板中使用 schema.yaml 参数
浏览完文档和示例后，我还没有弄清楚 schema.yaml 文件中的参数到底用在哪里。在此处使用 AWS 代码示例:https://github.com/aws-samples/aws-proton
java - 错误代码[17041]；索引::1 处缺少 IN 或 OUT 参数；嵌套异常是 java.sql.SQLException: 在索引::1 处缺少 IN 或 OUT 参数
程序参数: procedure get_user_profile ( i_attuid in ras_user.attuid%type, i_data_group in data_g
SQL + IN + 参数
我有一个字符串作为参数传递给我的存储过程。 dim AgentString as String = " 'test1', 'test2', 'test3' " 我想在 IN 中使用该参数声明。 AND
java方法内部变量上没有 "this"参数
这个问题已经有答案了: When should I use "this" in a class? (17 个回答) 已关闭 6 年前。我运行了一些java代码，我看到了一些我不太明白的东西。为什么下
Javascript 参数
我输入 scroll(0,10,200,10);但是当它运行时，它会传递字符串“xxpos”或“yypos”，我确实在没有撇号的情况下尝试过，但它就是行不通。 scroll = function(xp

首页

博学

6Ren·AI

商城

ATC：多快好省，无参数tokenreduction方法|ECCV'24

创新点

内容概述

层次`token`聚类

主要实验