个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
25
4
我正在测试一些 ChatGPT 功能，并了解如何流式传输响应，就像实时键入响应一样。
虽然我能够在本地正确重现此内容，但由于某种原因，当我部署此内容时，只有在加载完整消息后才会显示响应。
维塞尔documentation声明如下:
Vercel supports streaming for Serverless Functions, Edge Functions, and React Server Components in Next.js projects.
我只能找到有关如何执行此操作的文档 stream for Edge Functions ，不适用于无服务器。
在这里您可以比较它在本地的工作方式，但不适用于部署: 
这是存储库:https://github.com/andna/errorsrepo这是特定的处理程序:
const { Configuration, OpenAIApi } = require("openai");
const configuration = new Configuration({
apiKey: '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',
//this key was deleted after video recording
//replace with your own free API KEY obtained here: https://platform.openai.com/account/api-keys
});
const openai = new OpenAIApi(configuration);
export default async function handler(req, res) {
try {
const completion = await openai.createChatCompletion({
model: "gpt-3.5-turbo",
stream: true,
messages: [
{ role: "system", content: "You are an AI." },
{ role: "user", content: "how are you?" }],
}, { responseType: 'stream' });
completion.data.on('data', data => {
const lines = data.toString().split('\n').filter(line => line.trim() !== '');
res.write("<!DOCTYPE html><html><body>");
for (const line of lines) {
const message = line.replace(/^data: /, '');
if (message === '[DONE]') {
res.end();
return; // Stream finished
}
try {
const parsed = JSON.parse(message);
const content = parsed.choices[0].delta.content;
if(content){
res.write(content);
}
;
} catch(error) {
console.error('Could not JSON parse stream message', message, error);
}
}
});
} catch (error) {
console.error('An error occurred during OpenAI request', error);
}
}
有什么帮助可以让它在产品中也工作吗？
最佳答案
正如 @AcclaimHosting 所指出的，存在很多差异。
最终使用 Edge Functions 而不是无服务器来遵循此示例: https://vercel.com/blog/gpt-3-app-next-js-vercel-edge-functions#the-frontend
关于node.js - 如何在 Vercel Serverless 函数中进行流式传输？它在本地工作，但部署后就不行了，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/75717246/
25
4
0
我一直在做一些关于测量数据传输延迟的实验 CPU->GPU 和 GPU->CPU。我发现对于特定消息大小，CPU->GPU 数据传输速率几乎是 GPU->CPU 传输速率的两倍。谁能解释我为什么会这样
我将 ElasticSearch 用作我的 Post 模型的 Rails pet 项目应用程序的全文引擎。在我的 posts_controller.rb 索引操作中: def index
概述 流经网络的数据总是具有相同的类型：字节，这些字节如何传输主要取决于我们所说的网络传输。用户并不关心传输的细节，只在乎字节是否被可靠地发送和接收 如果使用 Java 网络编程，你会发现，某些时候当
我正在编写一些代码，以便将共享点从该页面转移到另一个页面: Server.Transfer("/DefectManagement/DefectList/default.aspx") 但是我遇到了这个问
我有这个泄漏，任何猜测？这个类有一些奇怪的引用。我的代码的任何地方都没有 contentobserver In com.example:1.5.0:27. com.example.ui.record
我听说过点对点内存传输并阅读了一些关于它的内容，但无法真正理解与标准 PCI-E 总线传输相比它的速度有多快。 我有一个使用多个 GPU 的 CUDA 应用程序，我可能对 P2P 传输感兴趣。我的问题
ftping 文件时，Transmit 中是否有忽略或过滤器列表？我希望它忽略上传 .svn 文件等。 最佳答案 是的。转到首选项并选择 Rules标签。在那里您可以定义要跳过哪些文件的规则。实际上，
我有以下片段来生成声音，在 while 循环中，我想动态更改它，以便它在声音生成期间创建不同频率的声音。 for(uint16_t i = 0; i < sample_N; i++) { da
我正在尝试使用 Delphi 2010 和 Indy 对 Web 服务进行概念验证。我此时的代码是: procedure TForm1.Log(const sEvent, sMsg: String);
我有一个 ActiveMQ JMS 代理，在端口 61616 上使用默认的 openwire TCP 传输公开。 我有许多远程客户端可以绑定(bind)到此代理来监听他们的消息。 如果我想打开 kee
reconnection strategies文档仅使用 JMS 示例，但是 FTP transport documentation确实说明了重新连接策略的使用，但没有任何细节或示例。 进一步，如果你
我有 2 个 TreeView，第一个填充有项目。 try { CheckBoxTreeItem treeRoot = new CheckBoxTreeItem("Root"); tr
在我为学校开发的一个网站上，用户输入他们的学校电子邮件和密码，如果他们已注册，则登录。如果没有，则会显示登录的第二部分，要求输入笔名称并确认密码。正因为如此，以及我复杂的业余 Django 编程，我有
我正在开发一个 Web 服务，我们在其中使用 LINQ-to-SQL 进行数据库抽象。当客户使用我们的网络服务时，对象被序列化为 XML，一切都很好。 现在我们希望开发我们自己的使用本地数据类型的客户
我应该创建一个名为“Backwards”的方法，该方法将列表从尾部横向到头部，但是当我运行代码时，它出现说(第 88 行)它找不到光标 = cusor.prev;象征。我需要在循环中再次设置上一个链接
给定像 Uint8Array 这样的类型化数组，似乎有两种方法可以通过 worker 传输它们。 选项 1 直接发送缓冲区并在接收端进行转换: 发件人:postMessage({fooBuffer:
在 PHP + jQuery 环境中，我和我的 friend 无法得出最佳解决方案。我们正在使用 Ajax 从数据库中获取数据。 解决方案 1 - Ajax 应该只传输数据，而不是 HTML 好处:我
大家好，非常感谢您的宝贵时间。 有一个 std::stringstream 需要传输到远程机器。网络库允许我用以下方法构建数据包: CreatePacket( const void * DATA, s
我正在使用 libcurl 通过 FTP 传输二进制文件 (.exe)，并将其保存到本地文件。问题是文件传输后，它已被更改，不再是有效的 Win32 应用程序，因此无法运行。这是我的做法: CURL
各位程序员， 当我将它上传到我的 FTP 时，我的网站出现此错误:资源被解释为样式表，但使用 MIME 类型文本/纯文本传输 BlahBlahi
我是一名优秀的程序员,十分优秀！