gpt4 book ai didi

论文解读(MetaAdapt)《MetaAdapt:DomainAdaptiveFew-ShotMisinformationDetectionviaMetaLearning》

转载 作者:我是一只小鸟 更新时间:2023-08-23 22:31:06 26 4
gpt4 key购买 nike

Note:[ wechat:Y466551 | 可加勿骚扰,付费咨询 ] 。

论文信息

论文标题:MetaAdapt: Domain Adaptive Few-Shot Misinformation Detection via Meta Learning 论文作者:Zhenrui Yue、Huimin Zeng、Yang Zhang、Lanyu Shang、Dong Wang 论文来源:2023 ACL 论文地址:download  论文代码:download 视屏讲解:click 。

1 介绍 

  出发点:域偏移导致的性能下降 ; 。

  简介:为了解决数据稀缺性的问题,提出了一种基于元学习的领域自适应小样本错误信息检测方法。MetaAdapt 利用有限的目标例子来提供反馈,并指导从源领域到目标领域的知识转移。特别地,本文用多个源任务来训练初始模型,并计算它们与元任务的相似性得分。基于相似性得分,重新调整了元梯度,以自适应地从源任务中学习; 。

  。

 

2 方法

模型框架:

场景 :

  小样本元域适应:源域带标记数据+目标域 k-shot 带标记数据; 。

2.1 MetaAdapt

  双层优化目标(训练目标):

    $\underset{\boldsymbol{\theta}}{\text{min}}\frac{1}{n} \sum^{n} \mathcal{L}\left(\mathcal{A} l g\left(\boldsymbol{\theta}, \operatorname{Sampler}\left(\boldsymbol{X}_{s}\right)\right), \boldsymbol{X}_{t}^{\prime}\right)    \quad\quad(1)$ 。

  内部优化目标(源域):

    $\mathcal{A} l g(\boldsymbol{\theta}, \boldsymbol{X})=\boldsymbol{\phi}=\boldsymbol{\theta}-\alpha \nabla_{\boldsymbol{\theta}} \mathcal{L}(\boldsymbol{\theta}, \boldsymbol{X}) \quad\quad(2)$ 。

  任务梯度(task gradient):

    $\text{task gradient}\doteq \phi_{i}-\theta  \quad\quad(3)$ 。

  其中:

    $\begin{array}{l}\phi  &= \frac{d \mathcal{L}\left(\mathcal{A l g}(\boldsymbol{\theta}, \boldsymbol{X}), \boldsymbol{X}_{t}^{\prime}\right)}{d \boldsymbol{\theta}}\\&=\quad \frac{d \mathcal{A l g}(\boldsymbol{\theta}, \boldsymbol{X})}{d \boldsymbol{\theta}} \nabla_{\boldsymbol{\phi}} \mathcal{L}\left(\mathcal{A l g}(\boldsymbol{\theta}, \boldsymbol{X}), \boldsymbol{X}_{t}^{\prime}\right)\end{array}\quad\quad(4)$ 。

  元梯度(meta gradient):

    $\frac{d \phi_{i}}{d \boldsymbol{\theta}} \nabla_{\boldsymbol{\phi}_{i}} \mathcal{L}\left(\boldsymbol{\phi}_{i}, \boldsymbol{X}_{t}^{\prime}\right)$
  Note:二阶导数

假设 :如果任务梯度和元梯度产生较高的相似性得分,则参数在内环和外环优化中都收敛到相同的方向; 。

  假设源域上存在 $n$ 个任务,则得到 $n$ 个相似性得分:

    $s_{i}=\operatorname{CosSim}\left(\phi_{i}-\boldsymbol{\theta}, \frac{d \boldsymbol{\phi}_{i}}{d \boldsymbol{\theta}} \nabla_{\boldsymbol{\phi}_{i}} \mathcal{L}\left(\boldsymbol{\phi}_{i}, \boldsymbol{X}_{t}^{\prime}\right)\right)\quad\quad(5)$ 。

  因此,计算相似性得分概率分布:

    $s=\operatorname{softmax}\left(\left[\frac{s_{1}}{\tau}, \frac{s_{2}}{\tau}, \ldots, \frac{s_{n}}{\tau}\right]\right)  \quad\quad(6)$ 。

  目标域参数的更新如下(任务相似性得分加权):

    $\boldsymbol{\theta}-\beta \sum_{i}^{n} s_{i} \cdot \frac{d \boldsymbol{\phi}_{i}}{d \boldsymbol{\theta}} \nabla_{\boldsymbol{\phi}_{i}} \mathcal{L}\left(\boldsymbol{\phi}_{i}, \boldsymbol{X}_{t}^{\prime}\right)  \quad\quad(7)$ 。

2.2 算法

3 实验

监督训练 。

小样本元域适应 。

大模型 。

鲁棒性研究 。

消融研究 。

最后此篇关于论文解读(MetaAdapt)《MetaAdapt:DomainAdaptiveFew-ShotMisinformationDetectionviaMetaLearning》的文章就讲到这里了,如果你想了解更多关于论文解读(MetaAdapt)《MetaAdapt:DomainAdaptiveFew-ShotMisinformationDetectionviaMetaLearning》的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com