个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
28
4
OpenAI api 包含一个微调服务，将任务分为“提示”和“完成”
https://platform.openai.com/docs/guides/fine-tuning
文档说准确度指标是根据完成情况计算的。但据说损失是“在训练批处理上”计算的。
我的理解是，GPT 模型的第一次训练总是以最大可用大小的批处理进行，使用特殊标记来分隔上下文，但总是要求预测所有条目的下一个标记。所以这里的损失函数是所有输出的明显交叉熵。但在微调中，有机会学习预测“模板提示”与否。这两个决定都是明智的；学习模板相当于训练解析，屏蔽模板可以避免过度拟合。
那么，OpenAI 目前的做法是什么？
最佳答案
Open AI API 有一个参数 prompt_loss_weight，其默认值为 0.01，而完成时权重始终为 1.0。所以是的，它将提示的预测视为损失函数的一部分。
这种用法似乎不同于使用其他工具(如 Huggingface 转换器库)进行微调的教程，它允许掩码丢弃部分输出但不考虑不同的损失权重。
关于openai-api - openai GPT微调是否考虑损失函数中的提示？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/75655947/
28
4
0
我收到以下错误:模块“openai”没有属性“ChatCompletion” 我检查了其他帖子。都在说升级OpenAI Python包或者升级Python。我都做了，但没有修复它。 Python:3.
我收到以下错误:模块“openai”没有属性“ChatCompletion” 我检查了其他帖子。都在说升级OpenAI Python包或者升级Python。我都做了，但没有修复它。 Python:3.
我有一个用例，非常需要来自 OpenAI API 的完全确定性响应。然而，玩弄温度似乎无法产生完全的决定论。 import openai openai.organization = "org-..."
OpenAI api 包含一个微调服务，将任务分为“提示”和“完成” https://platform.openai.com/docs/guides/fine-tuning 文档说准确度指标是根据完成
我通过openai的text-davinci-003可以正常返回对话信息，但是目前无法实现上下文关联功能。我搜索了一下，发现有一个“conversation_id”参数，但是添加该参数后，API返回“
我有一个用例，非常需要来自 OpenAI API 的完全确定性响应。然而，玩弄温度似乎无法产生完全的决定论。 import openai openai.organization = "org-..."
OpenAI api 包含一个微调服务，将任务分为“提示”和“完成” https://platform.openai.com/docs/guides/fine-tuning 文档说准确度指标是根据完成
我通过openai的text-davinci-003可以正常返回对话信息，但是目前无法实现上下文关联功能。我搜索了一下，发现有一个“conversation_id”参数，但是添加该参数后，API返回“
我想使用 openai.embeddings_utils import get_embeddings所以已经安装了openai Name: openai Version: 0.26.5 Summary
当我使用 GPT3 的 playground 时，我经常得到带有编号列表和段落格式的结果，如下所示: Here's what the above class is doing: 1. It creat
当我使用 GPT3 的 playground 时，我经常得到带有编号列表和段落格式的结果，如下所示: Here's what the above class is doing: 1. It creat
我想使用 openai.embeddings_utils import get_embeddings所以已经安装了openai Name: openai Version: 0.26.5 Summary
OpenAI/chat GPT也支持docx/pdf文件上传吗？。我想上传多个文件到openAI/chatGPT。我在https://platform.openai.com/docs/api-refe
openAI/chatGPT也支持docx/pdf文件上传吗？ 我想上传多个文件到 openAI/chatGPT。我尝试了 https://platform.openai.com/docs/api-r
openAI/chatGPT也支持docx/pdf文件上传吗？ 我想上传多个文件到 openAI/chatGPT。我尝试了 https://platform.openai.com/docs/api-r
如果我们查看环境的预览，它们会在右下角的动画中显示剧集的增加。 https://gym.openai.com/envs/CartPole-v1/ .是否有明确显示的命令？ 最佳答案 我认为 Ope
是否有人从使用 text-embedding-ada-002 的 Azure OpenAI 嵌入部署中获得的结果与 OpenAI 的结果不同？相同的文本，相同的模型，结果在向量空间中相差相当远。 对于
关闭。这个问题需要debugging details .它目前不接受答案。 编辑问题以包含 desired behavior, a specific problem or error, and th
我正在学习gpt微调 我成功运行了这个命令:pip install --upgrade openai 我无法运行此命令:export OPENAI_API_KEY="sk-xxxxxxxxxxxxxx
如何解决Openai API 不断输出的问题，比如让gpt api 写一篇文章。如果内容中断，可以继续提问，从而继续输出以上内容。这在ChatGPT中很容易做到，但是Openai API加上上面的提示
我是一名优秀的程序员,十分优秀！