python - 如何读取通过附加行不断更新的文件？

Question

在我的终端中我正在运行:

curl --user dhelm:12345 \https://stream.twitter.com/1.1/statuses/sample.json > raw-data.txt

curl 的输出是正在写入文件 raw-data.txt 的实时流式 Twitter 数据

在 python 中，

 import json
 posts = []

 for line in open("/Users/me/raw-data.txt"):
    try:
        posts.append(json.loads(line))
    except:
        pass

我正在用 python 读取文件并使用 json 解码器并将结果附加到帖子中。

现在，问题是我不希望我的程序在 python 脚本到达文件末尾时结束。相反，当我的终端上运行的 curl 将更多帖子附加到文件 raw-data.txt 时，我想继续阅读。

Answer 1

我认为这是一个 XY problem .因为你想不出从 Python 中逐行流式传输 HTTP 请求的方法，你决定使用 curl 对文件进行流式下载，然后从 Python 中读取该文件.因为你这样做了，所以你必须处理在请求仍在进行时遇到 EOF 的可能性，只是因为你已经 catch 了 curl。所以你无缘无故地让自己变得更难。

虽然流式下载可以使用 stdlib 完成，但这有点痛苦； requests库使它变得容易得多。那么，让我们使用它:

import json
import requests
from requests.auth import HTTPBasicAuth

posts = []
url = 'https://stream.twitter.com/1.1/statuses/sample.json'
r = requests.get(url, auth=('dhelm', '12345'), stream=True)
for line in r.iter_lines():
    try:
        posts.append(json.loads(line))
    except:
        pass

这就是整个程序。