- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我对 Nodejs 很陌生,但正在尝试一些新的 chatgpt 东西。
我有一些代码可以获取一个主题并生成一个笑话。这是使用 https://api.openai.com/v1/chat/completions
我可以看到流返回并给出每个部分,但客户端未正确获取流。
客户端上的 console.log({done, value});
仅被命中两次,但调试服务器时的流具有更多的 block 。
// the value decoded here is '{}'
home-page.tsx:46 {done: false, value: Uint8Array(2)}
home-page.tsx:46 {done: true, value: undefined}
要从服务器正确连接此流,我缺少什么?
import { createParser, ParsedEvent, ReconnectInterval } from "eventsource-parser";
export const config = {
runtime: "edge",
};
export async function OpenAIStream(payload) {
const encoder = new TextEncoder();
const decoder = new TextDecoder();
let counter = 0;
const res = await fetch("https://api.openai.com/v1/chat/completions", {
headers: {
"Content-Type": "application/json",
Authorization: `Bearer ${process.env.OPENAI_API_KEY}`,
},
method: "POST",
body: JSON.stringify(payload),
});
const stream = new ReadableStream({
async start(controller) {
function onParse(event: ParsedEvent | ReconnectInterval) {
if (event.type === "event") {
const data = event.data;
if (data === "[DONE]") {
controller.close();
return;
}
try {
const json = JSON.parse(data);
const text = json.choices[0].delta?.content || "";
if (counter < 2 && (text.match(/\n/) || []).length) {
return;
}
console.log(text);
const queue = encoder.encode(text);
controller.enqueue(queue);
counter++;
} catch (e) {
controller.error(e);
}
}
}
// stream response (SSE) from OpenAI may be fragmented into multiple chunks
// this ensures we properly read chunks & invoke an event for each SSE event stream
const parser = createParser(onParse);
// https://web.dev/streams/#asynchronous-iteration
for await (const chunk of res.body as any) {
parser.feed(decoder.decode(chunk));
}
},
});
return stream;
}
import { Body, Controller, Post } from '@nestjs/common';
import { AppService } from './app.service';
import { OpenAIStream } from './helpers/openai';
import { ChatCompletionRequestMessage } from 'openai';
const MAX_RESPONSE_TOKENS = 200;//1024;
@Controller()
export class AppController {
constructor(private readonly appService: AppService) { }
@Post("joke")
async generate(@Body() message: JokeTemplate) {
let messages: Array<ChatCompletionRequestMessage> = [
{ "role": "system", "content": "You are a joke engine." },
{ "role": "user", "content": `Tell me a joke about ${message.subject}` }]
const payload = {
model: 'gpt-3.5-turbo',
max_tokens: MAX_RESPONSE_TOKENS,
temperature: 0,
messages,
stream: true
};
const stream = await OpenAIStream(payload);
return new Response(stream);
}
}
interface JokeTemplate {
subject: string;
}
const triggerGPTRequest = async (e: any) => {
setGptResponse('');
setLoading(true);
const response = await fetch("/api/joke", {
method: "POST",
headers: {
"Content-Type": "application/json",
},
body: JSON.stringify({ 'subject': promptText }),
});
if (!response.ok) {
throw new Error(response.statusText);
}
const data = response.body;
if (!data) {
return;
}
const reader = data.getReader();
const decoder = new TextDecoder();
let done = false;
while (!done) {
const {value, done: doneReading} = await reader.read();
done = doneReading;
const chunkValue = decoder.decode(value);
console.log({done, value});
setGptResponse((prev) => prev + chunkValue);
}
setLoading(false);
}
最佳答案
Nest 不知道 fetch 的 Response
类型,它只是将该类型视为一个类,因此它尝试序列化它,这会导致错误。尝试返回一个 StreamableFile
实例,Nest 将通过调用 stream.pipe(res)
正确处理该实例。
import { Body, Controller, Post, StreamableFile } from '@nestjs/common';
import { AppService } from './app.service';
import { OpenAIStream } from './helpers/openai';
import { ChatCompletionRequestMessage } from 'openai';
const MAX_RESPONSE_TOKENS = 200;//1024;
@Controller()
export class AppController {
constructor(private readonly appService: AppService) { }
@Post("joke")
async generate(@Body() message: JokeTemplate) {
let messages: Array<ChatCompletionRequestMessage> = [
{ "role": "system", "content": "You are a joke engine." },
{ "role": "user", "content": `Tell me a joke about ${message.subject}` }]
const payload = {
model: 'gpt-3.5-turbo',
max_tokens: MAX_RESPONSE_TOKENS,
temperature: 0,
messages,
stream: true
};
const stream = await OpenAIStream(payload);
return new StreamableFile(stream)
}
}
interface JokeTemplate {
subject: string;
}
关于node.js - 通过 chatGpt api 流从 NextJs (express) 返回 ReadableStream,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/76582684/
按照目前的情况,这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visit the
在编码时,我问了自己这个问题: 这样更快吗: if(false) return true; else return false; 比这个? if(false) return true; return
如何在逻辑条件下进行“返回”? 在这样的情况下这会很有用 checkConfig() || return false; var iNeedThis=doSomething() || return fa
这是我的正则表达式 demo 如问题所述: 如果第一个数字是 1 则返回 1 但如果是 145 则返回 145 但如果是 133 则返回 133 样本数据a: K'8134567 K'81345678
在代码高尔夫问答部分查看谜题和答案时,我遇到了 this solution返回 1 的最长和最晦涩的方法 引用答案, int foo(void) { return! 0; } int bar(
我想在下面返回 JSON。 { "name": "jackie" } postman 给我错误。说明 Unexpected 'n' 这里是 Spring Boot 的新手。 1日龄。有没有正确的方法来
只要“is”返回 True,“==”不应该返回 True 吗? In [101]: np.NAN is np.nan is np.NaN Out[101]: True In [102]: np.NAN
我需要获取所有在 6 号或 7 号房间或根本不在任何房间的学生的详细信息。如果他们在其他房间,简单地说,我不希望有那个记录。 我的架构是: students(roll_no, name,class,.
我有一个表单,我将它发送到 php 以通过 ajax 插入到 mysql 数据库中。一切顺利,php 返回 "true" 值,但在 ajax 中它显示 false 消息。 在这里你可以查看php代码:
我在 Kotlin 中遇到了一个非常奇怪的无法解释的值比较问题,以下代码打印 假 data class Foo ( val a: Byte ) fun main() { val NUM
请注意,这并非特定于 Protractor。问题在于 Angular 2 的内置 Testability service Protractor 碰巧使用。 Protractor 调用 Testabil
在调试窗口中,以下表达式均返回 1。 Application.WorksheetFunction.CountA(Cells(4 + (i - 1) * rows_per_record, 28) & "
我在本地使用 jsonplaceholder ( http://jsonplaceholder.typicode.com/)。我正在通过 extjs rest 代理测试我的 GET 和 POST 调用
这是 Postman 为成功调用我的页面而提供的(修改后的)代码段。 var client = new RestClient("http://sub.example.com/wp-json/wp/v2
这个问题在这里已经有了答案: What to do with mysqli problems? Errors like mysqli_fetch_array(): Argument #1 must
我想我对 C 命令行参数有点生疏。我查看了我的一些旧代码,但无论这个版本是什么,都会出现段错误。 运行方式是 ./foo -n num(其中 num 是用户在命令行中输入的数字) 但不知何故它不起作用
我已经编写了一个类来处理命名管道连接,如果我创建了一个实例,关闭它,然后尝试创建另一个实例,调用 CreateFile() 返回 INVALID_HANDLE_VALUE,并且 GetLastErro
即使 is_writable() 返回 true,我也无法写入文件。当然,该文件存在并且显然是可读的。这是代码: $file = "data"; echo file_get_contents($fil
下面代码中的变量 $response 为 NULL,尽管它应该是 SOAP 请求的值。 (潮汐列表)。当我调用 $client->__getLastResponse() 时,我从 SOAP 服务获得了
我一直在网上的不同论坛上搜索答案,但似乎没有与我的情况相符的... 我正在使用 Windows 7,VS2010。 我有一个使用定时器来调用任务栏刷新功能的应用程序。在该任务栏函数中包含对 LoadI
我是一名优秀的程序员,十分优秀!