Python:在流中搜索字符串的有效方法

Question

鉴于该流是aaa BOUNDARY bbbb BOUNDARY ...，我想要的是:

>>> read_until(stream, b' BOUNDARY ')
b'aaa'
>>> read_until(stream, b' BOUNDARY ')
b'bbbb'

边界小于100字节，流数据是无限的，每秒兆字节的速率。该解决方案需要在内存和时间方面保持高效，而不是天真地从 BufferedReader 中查看和读取。

我正在寻找一个简短的解决方案，可能会利用标准库或广泛使用的纯Python包。有 email 和 cgi 库，它们可以从流中读取多部分块，这看起来像我需要的，但我无法理解如何提取此功能。

或者，如果有像 BufferedReader 这样带有可搜索缓冲区的东西就好了。

最后的办法是手动实现，但感觉就像发明轮子。

Answer 1

这是您需要使用的算法:Knuth–Morris–Pratt_algorithm

我在网上找到了这个实现:link