streamlit - 流式响应线 chatgpt

Question

有谁知道我是否可以使用 streamlit_chat 消息在 Streamlit 中显示类似 chatgpt 的流响应？

我需要类似 message(streaming=True) 或任何其他替代方案。我的代码段如下:

from streamlit_chat import message
import streamlit as st

for i in range(len(st.session_state['generated']) - 1, -1, -1):
      message(st.session_state['past'][i], is_user=True, key=str(i) + '_user')
      message(st.session_state["generated"][i], key=str(i))`

我期望像 steamlit 应用程序上的 chatgpt 一样的响应流

Answer 1

我不确定 Streamlit 中的流媒体策略，但这里是客户端流媒体的通用黑客逻辑，以防有帮助，

import asyncio, shlex, subprocess, sys
async def subprocess_async(cmd, **kwargs):
    cmd_list = shlex.split(cmd)
    proc = await asyncio.create_subprocess_exec(
        *cmd_list,
        stdout=asyncio.subprocess.PIPE,
        stderr=asyncio.subprocess.STDOUT,
        **kwargs)

    answer = ""
    while proc.returncode is None:
        buf = await proc.stdout.read(4)
        if not buf:
            return
        buf = buf.decode("utf-8")
        print(buf, end="")
        sys.stdout.flush()
        answer += buf
    res = subprocess.CompletedProcess(cmd, proc.returncode,  stdout=answer, stderr=b'')
    return res

X = """Python 是一种高级、解释型、通用编程语言。它是一种功能强大且多功能的语言，可用于从 Web 开发到数据科学的广泛应用。Python 以其可读性和易用性而闻名，这使其成为初学者的绝佳语言。它还拥有一个庞大而活跃的开发人员社区，为该语言及其库做出了贡献。“”“

asyncio.create_task(subprocess_async(f"echo {X}"))