python - 导入 Pandas 时保留 KDB 长纪元时间

Question

我有 KDB 的纪元时间，例如530782044475144833。但是我在 Pandas 中使用过的任何数据类型，例如int、float64 严重舍入为 5.31e+17，使其毫无用处。读入 Pandas 时如何保留 KDB 纪元时间的整个长度？提前致谢。

Answer 1

在 PyQ 的最新 (> 4.0) 版本中，kdb+时间戳向量可以轻松转换为numpy数组。例如:

>>> p = q('2#.z.P')
>>> p
k('2017.07.05D13:37:41.058130000 2017.07.05D13:37:41.058130000')
>>> p.long
k('552577061058130000 552577061058130000')
>>> a = np.array(p)
>>> a
array(['2017-07-05T13:37:41.058130000', '2017-07-05T13:37:41.058130000'], dtype='datetime64[ns]')

这会自动进行纪元转换并且不会丢失任何精度

>>> p == a
True

结果数组可以转换为 panda 的 DatetimeIndex:

>>> pd.DatetimeIndex(a)
DatetimeIndex(['2017-07-05 13:37:41.058130', '2017-07-05 13:37:41.058130'], dtype='datetime64[ns]', freq=None)

或放置在DataFrame中:

>>> pd.DataFrame({'timestamp':a})
                   timestamp
0 2017-07-05 13:37:41.058130
1 2017-07-05 13:37:41.058130