gpt4 book ai didi

自然语言处理PaddleNLP-开放域对话系统-理论

转载 作者:我是一只小鸟 更新时间:2023-06-30 22:31:58 28 4
gpt4 key购买 nike

常见的对话系统 。

  • 个人助手
    •Apple Siri, Amazon Alexa, Baidu Xiaodu
  • 客户服务•餐厅预定、商品咨询、债务催收
  • 休闲娱乐
    •Microsoft XiaoIce,Replika

image

放域对话系统 。

  • 检索式系统
  • 生成式系统
    image

检索式系统

image
image

image

生成模型

  • Sequence-to-sequence
  • Generative Pre-training Models

Sequence-to-sequence 。

Generative Pre-training Models 。

  • BERT 使用了双向注意力机制,每个token可以向左向右看到各个token
  • GPT 使用了单向注意力机制(从左到右),是一个生成模型,每个 token只能看到自己和前他面的词,只能看到以前的,所以比较适合用来做生成任务,像平常说话也是一个词一个词的,Q:你有没有养宠物,A:我有一只猫,
  • PrefixLM (Unified Transformer)使用了编码端双向、生成端单向的注意力机制,适合开放域的对话任务

image
image

解码策略

  • Greedy Decoding 。

  • Sampling-based Decoding 。

  • 每一步,选取最可能的单词(i.e. argmax) 。

  • 把选取的单词补充到input中,继续下一步解码 。

  • 停止条件: 继续解码直到产生[EOS] 或者达到了事先定义的最大生成长度 。

Sampling-based Decoding

解码策略–总结 。

  • Greedy decoding 方法很简单,但效果一般较差
  • Sampling-baseddecoding可以得到更多样化/随机的回复
    •比较适合于开放式/创造性的生成任务,像对话、诗词、故事生成
    •Top-k/p sampling 可以通过调节k/p,对生成的多样性进行控制

对话评估

  • 自动评估: BLEU、Distinct
  • 人工评估

BLEU 。

Distinct 。

人工评估 开放域对话模型演进历史 PLATO-2 总结及展望 。

视频: https://aistudio.baidu.com/aistudio/course/introduce/24177?sharedLesson=1493709&sharedType=2&sharedUserId=2631487&ts=1687157269113 课件: https://aistudio.baidu.com/aistudio/course/introduce/24177?sharedLesson=1567921&sharedType=2&sharedUserId=2631487&ts=1687157254946 。

最后此篇关于自然语言处理PaddleNLP-开放域对话系统-理论的文章就讲到这里了,如果你想了解更多关于自然语言处理PaddleNLP-开放域对话系统-理论的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com