- Java锁的逻辑(结合对象头和ObjectMonitor)
- 还在用饼状图?来瞧瞧这些炫酷的百分比可视化新图形(附代码实现)⛵
- 自动注册实体类到EntityFrameworkCore上下文,并适配ABP及ABPVNext
- 基于Sklearn机器学习代码实战
Note:[ wechat:Y466551 | 可加勿骚扰,付费咨询 ] 。
论文标题:MetaAdapt: Domain Adaptive Few-Shot Misinformation Detection via Meta Learning 论文作者:Zhenrui Yue、Huimin Zeng、Yang Zhang、Lanyu Shang、Dong Wang 论文来源:2023 ACL 论文地址:download 论文代码:download 视屏讲解:click 。
出发点:域偏移导致的性能下降 ; 。
简介:为了解决数据稀缺性的问题,提出了一种基于元学习的领域自适应小样本错误信息检测方法。MetaAdapt 利用有限的目标例子来提供反馈,并指导从源领域到目标领域的知识转移。特别地,本文用多个源任务来训练初始模型,并计算它们与元任务的相似性得分。基于相似性得分,重新调整了元梯度,以自适应地从源任务中学习; 。
。
场景 :
小样本元域适应:源域带标记数据+目标域 k-shot 带标记数据; 。
双层优化目标(训练目标):
$\underset{\boldsymbol{\theta}}{\text{min}}\frac{1}{n} \sum^{n} \mathcal{L}\left(\mathcal{A} l g\left(\boldsymbol{\theta}, \operatorname{Sampler}\left(\boldsymbol{X}_{s}\right)\right), \boldsymbol{X}_{t}^{\prime}\right) \quad\quad(1)$ 。
内部优化目标(源域):
$\mathcal{A} l g(\boldsymbol{\theta}, \boldsymbol{X})=\boldsymbol{\phi}=\boldsymbol{\theta}-\alpha \nabla_{\boldsymbol{\theta}} \mathcal{L}(\boldsymbol{\theta}, \boldsymbol{X}) \quad\quad(2)$ 。
任务梯度(task gradient):
$\text{task gradient}\doteq \phi_{i}-\theta \quad\quad(3)$ 。
其中:
$\begin{array}{l}\phi &= \frac{d \mathcal{L}\left(\mathcal{A l g}(\boldsymbol{\theta}, \boldsymbol{X}), \boldsymbol{X}_{t}^{\prime}\right)}{d \boldsymbol{\theta}}\\&=\quad \frac{d \mathcal{A l g}(\boldsymbol{\theta}, \boldsymbol{X})}{d \boldsymbol{\theta}} \nabla_{\boldsymbol{\phi}} \mathcal{L}\left(\mathcal{A l g}(\boldsymbol{\theta}, \boldsymbol{X}), \boldsymbol{X}_{t}^{\prime}\right)\end{array}\quad\quad(4)$ 。
元梯度(meta gradient):
假设 :如果任务梯度和元梯度产生较高的相似性得分,则参数在内环和外环优化中都收敛到相同的方向; 。
假设源域上存在 $n$ 个任务,则得到 $n$ 个相似性得分:
$s_{i}=\operatorname{CosSim}\left(\phi_{i}-\boldsymbol{\theta}, \frac{d \boldsymbol{\phi}_{i}}{d \boldsymbol{\theta}} \nabla_{\boldsymbol{\phi}_{i}} \mathcal{L}\left(\boldsymbol{\phi}_{i}, \boldsymbol{X}_{t}^{\prime}\right)\right)\quad\quad(5)$ 。
因此,计算相似性得分概率分布:
$s=\operatorname{softmax}\left(\left[\frac{s_{1}}{\tau}, \frac{s_{2}}{\tau}, \ldots, \frac{s_{n}}{\tau}\right]\right) \quad\quad(6)$ 。
目标域参数的更新如下(任务相似性得分加权):
$\boldsymbol{\theta}-\beta \sum_{i}^{n} s_{i} \cdot \frac{d \boldsymbol{\phi}_{i}}{d \boldsymbol{\theta}} \nabla_{\boldsymbol{\phi}_{i}} \mathcal{L}\left(\boldsymbol{\phi}_{i}, \boldsymbol{X}_{t}^{\prime}\right) \quad\quad(7)$ 。
监督训练 。
小样本元域适应 。
大模型 。
鲁棒性研究 。
消融研究 。
最后此篇关于论文解读(MetaAdapt)《MetaAdapt:DomainAdaptiveFew-ShotMisinformationDetectionviaMetaLearning》的文章就讲到这里了,如果你想了解更多关于论文解读(MetaAdapt)《MetaAdapt:DomainAdaptiveFew-ShotMisinformationDetectionviaMetaLearning》的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
Note:[ wechat:Y466551 | 可加勿骚扰,付费咨询 ] 论文信息 论文标题:MetaAdapt: Domain Adaptive Few-Shot Mi
我是一名优秀的程序员,十分优秀!