gpt4 book ai didi

python - 关于管理完美工作流的日志

转载 作者:行者123 更新时间:2023-12-04 08:38:36 24 4
gpt4 key购买 nike

我正在为业务应用程序使用完美的工作流程。
我有一个关于存储在 postgresql 中的日志的问题。
如果每天的日志都保存在postgresql服务器上,数据量会非常庞大​​。
是否有一种机制可以轮换此日志并将其写入文本文件?
还有,把postgresql表中的数据写入文本文件等后,删除对应的记录可以吗?

最佳答案

由于您正在运行 Prefect Server 的实例,因此编写一个连接到 postgres 容器并将日志归档到某种云存储(GCS、S3 等)的 Flow 是有意义的。我大概会这么想:

  • 使用级长 Client收集早于某个日期的 Flow Runs 的所有 ID。
  • 连接到 postgres 并从日志表中为具有这些 Flow Run ID 的日志选择日志
  • 将这些日志作为首选写入 CSV/SQL/Text
  • 从 postgres 中删除这些日志
  • 关于python - 关于管理完美工作流的日志,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/64673822/

    24 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com