python - 将 Redis Streams 输出转换为 Pandas Dataframe

Question

转换 Redis Stream 的最快 方法是什么？将(aioredis 客户端/hiredis 解析器)输出到 Pandas Dataframe，其中 Redis Stream ID 的时间戳 和 序列号以及值是正确类型转换的 Pandas 索引列？

示例 Redis 输出:

[[b'1554900384437-0', [b'key', b'1']], 
[b'1554900414434-0', [b'key', b'1']]]

Answer 1

这里似乎有两个主要的瓶颈:

1. Pandas DataFrames 以列优先格式存储数据，这意味着每一列映射到一个 numpy 数组，而 Redis 流数据是逐行存储的。

2. Pandas MultiIndex 是为分类数据制作的，将原始数组转换为所需的级别/代码结构似乎没有优化

由于数字 1. 不可避免地要遍历所有 Redis 流条目。假设我们事先知道长度，我们可以预先分配我们填充的 numpy 数组，并通过一些技巧将这些数组重用为 DataFrame 列。如果在 Python 中循环的开销仍然太多，那么在 Cython 中重写应该很简单。

由于您没有指定数据类型，答案使用 numpy.object 数组以字节为单位保存所有内容，如何适应自定义设置应该是相当明显的。将所有列放在同一个数组中的唯一原因是将列/字段上的内部循环从 Python 移动到 C。它可以拆分为例如每种数据类型一个数组或每列一个数组。

from functools import partial, reduce
import numpy as np
import pandas as pd

data = [[b'1554900384437-0', [b'foo', b'1', b'bar', b'2', b'bla', b'abc']], 
[b'1554900414434-0', [b'foo', b'3', b'bar', b'4', b'bla', b'xyz']]]

colnames = data[0][1][0::2]
ncols = len(colnames)
nrows = len(data)
ts_seq = np.empty((2, nrows), dtype=np.int64)
cols = np.empty((ncols, nrows), dtype=np.object)

for i,(id,fields) in enumerate(data):
    ts, seq = id.split(b"-", 2)
    ts_seq[:, i] = (int(ts), int(seq))
    cols[:, i] = fields[1::2]

colframes = [pd.DataFrame(cols[i:i+1, :].T) for i in range(ncols)]
merge = partial(pd.merge, left_index=True, right_index=True, copy=False)
df = reduce(merge, colframes[1:], colframes[0])
df.columns = colnames

对于数字 2，我们可以使用 numpy.unique 来创建 Pandas MultiIndex 所需的级别/代码结构。从文档看来 numpy.unique 也对数据进行排序。由于我们的数据可能已经排序， future 可能的优化是尝试跳过排序步骤。

ts = ts_seq[0, :]
seq = ts_seq[1, :]
maxseq = np.max(seq)
ts_levels, ts_codes = np.unique(ts, return_inverse=True)
seq_levels = np.arange(maxseq+1)
seq_codes = seq
df.index = pd.MultiIndex(levels=[ts_levels, seq_levels], codes=[ts_codes, seq_codes], names=["Timestamp", "Seq"])

最后，我们可以通过做来验证没有涉及复制

cols[0, 0] = b'79'

并检查 df 中的条目是否确实发生了变化。