个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
24
4
此问题适合那些熟悉 GPT 或 GPT2 的人OpenAI 模型。特别是编码任务(字节对编码)。这是我的问题:
我想知道如何创建自己的 vocab.bpe 文件。
我有一个西类牙语语料库文本，我想用它来适应我自己的 bpe 编码器。我已经成功创建了带有 python-bpe 的编码器.json库，但我不知道如何获取 vocab.bpe 文件。我已经查看了 gpt-2/src/encoder.py 中的代码但是，我还没有找到任何提示。有什么帮助或想法吗？
提前非常感谢您。
最佳答案
查看here ，您可以使用以下命令轻松创建相同的 vocab.bpe:
python learn_bpe -o ./vocab.bpe -i dataset.txt --symbols 50000
关于python - 如何使用我自己的语料库文本创建和拟合 vocab.bpe 文件(GPT 和 GPT2 OpenAI 模型)？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/55531061/
24
4
0
我已经为此奋斗了几个小时。显然，我不是专家，但我已经做到了这一点 - api 设置，在前端运行，当我输入聊天提示时，它会出现错误，并且gunicorn 返回大长错误。 这是我的 ai_chat.py
我已经为此奋斗了几个小时。显然，我不是专家，但我已经做到了这一点 - api 设置，在前端运行，当我输入聊天提示时，它会出现错误，并且gunicorn 返回大长错误。 这是我的 ai_chat.py
尝试调用刚刚为 ChatGPT 发布的 got-3.5-turbo API，但收到错误请求错误？ var body = new {
尝试调用刚刚为 ChatGPT 发布的 got-3.5-turbo API，但收到错误请求错误？ var body = new {
最近我必须找到一种方法来区分虚拟机使用的分区类型，从虚拟磁盘读取原始数据我能够通过检查偏移量 1C2(GPT 的 EE)找到它，以防万一MBR 磁盘如果磁盘是动态的，1C2 的偏移量有 42，如果是基
我有一个 Android 应用程序，目前正在使用 chat gpt 3.0 进行补全，并且工作正常。现在，在他们发布 chat gpt 3.5 Turbo 后，我根据他们的请求示例做了一些更改，但抛出
我有一个 Android 应用程序，目前正在使用 chat gpt 3.0 进行补全，并且工作正常。现在，在他们发布 chat gpt 3.5 Turbo 后，我根据他们的请求示例做了一些更改，但抛出
创建微调模型后，如何在/v1/chat/completions 中使用它？我们尝试了这个，但出现了错误 curl --location 'https://api.openai.com/v1/chat/
我收到以下错误: [3067] NetworkUtility.shouldRetryException: Unexpected response code400 for https://api.ope
我收到以下错误: [3067] NetworkUtility.shouldRetryException: Unexpected response code400 for https://api.ope
创建微调模型后，如何在/v1/chat/completions 中使用它？我们尝试了这个，但出现了错误 curl --location 'https://api.openai.com/v1/chat/
我正在围绕 GPT-3 构建一个应用程序，我想知道我发出的每个请求使用了多少 token 。这可能吗？如何实现？ 最佳答案 OPEN-AI 通过代币对 GPT-3 的使用进行收费，这包括提示和答案。对
kapt 和有什么区别和 implementation在 Gradle 中声明依赖项时以及何时应该在另一个上使用一个？ 例子: //Room Components implementation "an
所以我在我的 React 应用程序中实现了 chat gpt 3.5 Turbo API。所以我的应用程序基本上就像招聘人员的助手。因此，招聘人员向应用程序提供了一个示例职位帖子，并将该帖子发送到聊天
所以我在我的 React 应用程序中实现了 chat gpt 3.5 Turbo API。所以我的应用程序基本上就像招聘人员的助手。因此，招聘人员向应用程序提供了一个示例职位帖子，并将该帖子发送到聊天
我有最新版本的 OpenAi，但缺少某些属性。我试过重新安装它，没有解决它。 GPT 和 Chat 是我发现还不能用的。 切记，我是 python 的新手并且具有该语言的基本知识。代码取自GitHub
我有最新版本的 OpenAi，但缺少某些属性。我试过重新安装它，没有解决它。 GPT 和 Chat 是我发现还不能用的。 切记，我是 python 的新手并且具有该语言的基本知识。代码取自GitHub
我使用的是 gpt-4-0613 模型，具有单个函数，并在系统提示符中包含一些自定义数据。 如果该函数在聊天中很早就被触发，在前两个请求内，它的功能就很好，并且 API 会要求用户提供调用该函数所需的
我使用的是 gpt-4-0613 模型，具有单个函数，并在系统提示符中包含一些自定义数据。 如果该函数在聊天中很早就被触发，在前两个请求内，它的功能就很好，并且 API 会要求用户提供调用该函数所需的
OpenAI 现在允许我们微调 GPT-3.5 模型。我已经使用自己的数据集测试和微调了模型，但问题是微调模型随机生成答案，而不是根据我的自定义数据集正确生成答案。 有什么方法可以让模型仅根据我自己的
我是一名优秀的程序员,十分优秀！