gpt4 book ai didi

迁移学习(CLDA)《CLDA:ContrastiveLearningforSemi-SupervisedDomainAdaptation》

转载 作者:我是一只小鸟 更新时间:2023-04-17 06:31:09 32 4
gpt4 key购买 nike

论文信息

论文标题:CLDA: Contrastive Learning for Semi-Supervised Domain Adaptation
论文作者: Ankit Singh
论文来源:NeurIPS 2021
论文地址: download  
论文代码:download
视屏讲解:click

1 简介

  提出问题:半监督导致来自标记源和目标样本的监督只能确保部分跨域特征对齐,导致目标域的对齐和未对齐子分布形成域内差异; 。

  解决办法:

    • 提出基于质心的对比学习框架;  
    • 提出基于类级的实例对比学习框架;  

  评价:牛马................. 。

2 方法

2.1 整体框架

2.2 源域监督训练

  源域监督损失:

    $\mathcal{L}_{\text {sup }}=-\sum_{k=1}^{K}\left(y^{i}\right)_{k} \log \left(\mathcal { F } \left(\mathcal{G}\left(\left(x_{l}^{i}\right)\right)_{k}\right.\right.$ 。

2.3 域间对比对齐

  基于 $\text{mini-batch}$ 的源域质心(类级):

    $C_{k}^{s}=\frac{\sum_{i=1}^{i=B} \mathbb{1}_{\left\{y_{i}^{s}=k\right\}} \mathcal{F}\left(\mathcal{G}\left(x_{i}^{s}\right)\right)}{\sum_{i=1}^{i=B} \mathbb{1}_{\left\{y_{i}^{s}=k\right\}}}$ 。

  动量更新源域质心:

    $C_{k}^{s}=\rho\left(C_{k}^{s}\right)_{s t e p}+(1-\rho)\left(C_{k}^{s}\right)_{s t e p-1}$ 。

  无标签目标域样本的伪标签:

    $\hat{y_{i}^{t}}=\operatorname{argmax}\left(\left(\mathcal{F}\left(\mathcal{G}\left(x_{i}^{t}\right)\right)\right)\right.$ 。

  域间对比对齐(类级):

    $\mathcal{L}_{c l u}\left(C_{i}^{t}, C_{i}^{s}\right)=-\log \frac{h\left(C_{i}^{t}, C_{i}^{s}\right)}{h\left(C_{i}^{t}, C_{i}^{s}\right)+\sum_{\substack{r=1 \\ q \in\{s, t\}}}^{K} \mathbb{1}_{\{r \neq i\}} h\left(C_{i}^{t}, C_{r}^{q}\right)}$ 。

  其中:

    $h(\mathbf{u}, \mathbf{v})=\exp \left(\frac{\mathbf{u}^{\top} \mathbf{v}}{\|\mathbf{u}\|_{2}\|\mathbf{v}\|_{2}} / \tau\right)$ 。

2.4 实例对比对齐

  强数据增强:

    $\tilde{x}_{i}^{t}=\psi\left(x_{i}^{t}\right)$ 。

  实例对比损失:

    $\mathcal{L}_{i n s}\left(\tilde{x}_{i}^{t}, x_{i}^{t}\right)=-\log \frac{h\left(\mathcal{F}\left(\mathcal{G}\left(\tilde{x}_{i}^{t}\right), \mathcal{F}\left(\mathcal{G}\left(x_{i}^{t}\right)\right)\right)\right.}{\sum_{r=1}^{B} h\left(\mathcal{F}\left(\mathcal{G}\left(\tilde{x}_{i}^{t}\right)\right), \mathcal{F}\left(\mathcal{G}\left(x_{r}^{t}\right)\right)\right)+\sum_{r=1}^{B} \mathbb{1}_{\{r \neq i\}} h\left(\mathcal{F}\left(\mathcal{G}\left(\tilde{x}_{i}^{t}\right)\right), \mathcal{F}\left(\mathcal{G}\left(\tilde{x}_{r}^{t}\right)\right)\right)}$ 。

2.5 训练目标

    $\mathcal{L}_{\text {tot }}=\mathcal{L}_{\text {sup }}+\alpha * \mathcal{L}_{\text {clu }}+\beta * \mathcal{L}_{\text {ins }}$ 。

3 总结

  略 。

最后此篇关于迁移学习(CLDA)《CLDA:ContrastiveLearningforSemi-SupervisedDomainAdaptation》的文章就讲到这里了,如果你想了解更多关于迁移学习(CLDA)《CLDA:ContrastiveLearningforSemi-SupervisedDomainAdaptation》的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。

32 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com