github - 如何微调微调 GitHub Copilot？

Question

我们可以微调 BERT、GPT-3 等语言模型。

我可以微调 GitHub Copilot 模型吗？

我已经研究过 https://copilot.github.com/ 中的示例但找不到详细信息。

如果有人对 Github Copilot 进行了微调，我们将不胜感激。

Answer 1

OpenAI API 提供“Davinci Codex”机器学习模型和按点击付费订阅，类似于 davinci 模型的非编码版本。

OpenAI 也应该启用 Davinci Codex 的微调选项。当他们这样做时，您将能够通过 API 调用使用它。

检查该先决条件后，我认为您可以通过一些代码更改将 OpenAI API 链接到本地​​安装的 Github Copilot，理论上这应该是可行的。

第一步可能是有一个调用 OpenAI Codex API 的 copilot VSCode 扩展的分支(或者一个在代码中插入文本的完全自定义的扩展)

然后您可以将其指向模型的微调版本。要了解微调 OpenAI 模型，您应该查看它们的文档:

• https://beta.openai.com/docs/guides/fine-tuning

请注意，它们还有一个 openai CLI，可让您执行大部分数据加载和微调任务。

很遗憾，目前您只能微调 OpenAI 模型的非编码版本，希望他们能尽快提供 Codex。