python - 有什么优雅的方法可以用 dtype 数组的列定义数据框吗？

Question

我想在 pandas 中处理二级库存数据。为简单起见，假设每行有四种数据:

• 毫秒:时间戳，int64
• last_price:最后成交价，float64，
• ask_queue:ask side的volume，一个固定大小(200)的int32数组
• bid_queue:出价方成交量，一个固定大小(200)的int32数组

这可以很容易地定义为 numpy 中的结构化数据类型:

dtype = np.dtype([
   ('millis', 'int64'), 
   ('last_price', 'float64'), 
   ('ask_queue', ('int32', 200)), 
   ('bid_queue', ('int32', 200))
])

通过这种方式，我可以像这样访问 ask_queue 和 bid_queue:

In [17]: data = np.random.randint(0, 100, 1616 * 5).view(dtype)

% compute the average of ask_queue level 5 ~ 10
In [18]: data['ask_queue'][:, 5:10].mean(axis=1)  
Out[18]: 
array([33.2, 51. , 54.6, 53.4, 15. , 37.8, 29.6, 58.6, 32.2, 51.6, 34.4,
       43.2, 58.4, 26.8, 54. , 59.4, 58.8, 38.8, 35.2, 71.2])

我的问题是如何定义包含数据的DataFrame？

这里有两种解决方案:

A.将 ask_queue 和 bid_queue 设置为两列，数组值如下:

In [5]: df = pd.DataFrame(data.tolist(), columns=data.dtype.names)

In [6]: df.dtypes
Out[6]: 
millis          int64
last_price    float64
ask_queue      object
bid_queue      object
dtype: object

但是，这个方案至少存在两个问题:

1. ask_queue 和 bid_queue 丢失了二维数组的 dtype 和所有方便的方法；
2. 性能，因为它变成了对象数组而不是 2D数组。

B.将 ask_queue 和 bid_quene 展平为 2 * 200 列:

In [8]: ntype = np.dtype([('millis', 'int64'), ('last_price', 'float64')] + 
   ...:                  [(f'{name}{i}', 'int32') for name in ['ask', 'bid'] for i in range(200)])

In [9]: df = pd.DataFrame.from_records(data.view(ntype))

In [10]: df.dtypes
Out[10]: 
millis          int64
last_price    float64
ask0            int32
ask1            int32
ask2            int32
ask3            int32
ask4            int32
ask5            int32
...

它比解决方案 A 好。但是 2 * 200 列看起来多余。

是否有任何解决方案可以利用 numpy 中的结构化数据类型？我想知道 ExtensionArray 或 `ExtensionDtype' 是否可以解决这个问题。

Answer 1

Q : Is there any solution can take the advantage as the structured dtype in numpy?

与仅使用 ToB(账面排行榜)喂价数据相比，使用 L2-DoM 数据具有双重复杂性。 a) native 提要速度很快(非常快/FIX 协议(protocol)或其他私有(private)数据提要提供的记录有成百上千(在专业的基本事件中更多)每毫秒 L2-DoM 更改。处理和存储必须以性能为导向b)由于项目 a) 的性质，任何类型的离线分析都必须成功操作并有效地处理大型数据集

• 存储偏好
• 使用类似numpy的语法首选项
• 性能偏好

---

存储首选项:已解决

鉴于 pandas.DataFrame 被设置为首选存储类型，让我们尊重这一点，即使语法和性能偏好可能会产生不利影响。

采用其他方式是可能的，但可能会引入未知的重构/重新设计成本，O/P 的操作环境不需要或已经不愿意承担。

话虽如此，pandas 功能限制必须纳入设计考虑因素，所有其他步骤都必须接受它，除非此偏好可能在未来某个时间得到修改。

---

numpy-类似语法:已解决

这个要求是合理而明确的，因为 numpy 工具是为高性能数字运算而设计的快速而智能的工具。鉴于设置的存储偏好，我们将实现一对 numpy-tricks 以适应 pandas 2D-DataFrame 在 .STORE 和 .RETRIEVE 方向上都以合理的成本:

 # on .STORE:
 testDF['ask_DoM'][aRowIDX] = ask200.dumps()      # type(ask200) <class 'numpy.ndarray'>

 # on .RETRIEVE:
 L2_ASK = np.loads( testDF['ask_DoM'][aRowIDX] )  # type(L2_ASK) <class 'numpy.ndarray'>

---

性能偏好:已测试

针对 .STORE 和 .RETRIEVE 方向的建议解决方案的净附加成本经测试采取:

.STORE方向的一次性成本不少于70 [us]且无对于给定规模的 L2_DoM 数组，每个单元超过 ~ 160 [us](平均:78 [ms] StDev:9- 11 [毫秒]):

>>> [ f( [testDUMPs() for _ in range(1000)] ) for f in (np.min,np.mean,np.std,np.max) ]
[72, 79.284, 11.004153942943548, 150]
[72, 78.048, 10.546135548152224, 160]
[71, 78.584,  9.887971227708949, 139]
[72, 76.9,    8.827332496286745, 132]

.RETRIEVE 方向上的

重复成本 不少于 46 [us] 且不超过~ 123 [us] 对于给定规模的 L2_DoM 数组每个单元格(平均:50 [us] StDev:9.5 [us] ):

>>> [ f( [testLOADs() for _ in range(1000)] ) for f in (np.min,np.mean,np.std,np.max) ]
[46, 50.337, 9.655194197943405, 104]
[46, 49.649, 9.462272665697178, 123]
[46, 49.513, 9.504293766503643, 123]
[46, 49.77,  8.367165350344164, 114]
[46, 51.355, 6.162434583831296,  89]

如果使用更好的架构对齐的 int64 数据类型，则可以预期更高的性能(是的，以双倍的存储成本为代价，但计算成本将决定此举措是否具有性能edge ) 并有机会使用基于 memoryview 的操作，这可以降低难度并将附加延迟减少到大约 22 [us]。

---

_{测试在 py3.5.6、numpy v1.15.2 下运行，使用:}

>>> import numpy as np; ask200 = np.arange( 200, dtype = np.int32 ); s = ask200.dumps()
>>> from zmq import Stopwatch; aClk = Stopwatch()
>>> def testDUMPs():
...     aClk.start()
...     s = ask200.dumps()
...     return aClk.stop()
... 
>>> def testLOADs():
...     aClk.start()
...     a = np.loads( s )
...     return aClk.stop()
...

_{平台 CPU、缓存层次结构和 RAM 详细信息:}

>>> get_numexpr_cpuinfo_details_on_CPU()

'TLB size'______________________________:'1536 4K pages'
'address sizes'_________________________:'48 bits physical, 48 bits virtual'
'apicid'________________________________:'17'
'bogomips'______________________________:'7199.92'
'bugs'__________________________________:'fxsave_leak sysret_ss_attrs null_seg spectre_v1 spectre_v2'
'cache size'____________________________:'2048 KB'
'cache_alignment'_______________________:'64'
'clflush size'__________________________:'64'
'core id'_______________________________:'1'
'cpu MHz'_______________________________:'1400.000'
'cpu cores'_____________________________:'2'
'cpu family'____________________________:'21'
'cpuid level'___________________________:'13'
'flags'_________________________________:'fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm constant_tsc rep_good nopl nonstop_tsc extd_apicid aperfmperf eagerfpu pni pclmulqdq monitor ssse3 cx16 sse4_1 sse4_2 popcnt aes xsave avx lahf_lm cmp_legacy svm extapic cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw ibs xop skinit wdt lwp fma4 nodeid_msr topoext perfctr_core perfctr_nb cpb hw_pstate vmmcall arat npt lbrv svm_lock nrip_save tsc_scale vmcb_clean flushbyasid decodeassists pausefilter pfthreshold'
'fpu'___________________________________:'yes'
'fpu_exception'_________________________:'yes'
'initial apicid'________________________:'1'
'microcode'_____________________________:'0x6000626'
'model'_________________________________:'1'
'model name'____________________________:'AMD FX(tm)-4100 Quad-Core Processor'
'physical id'___________________________:'0'
'power management'______________________:'ts ttp tm 100mhzsteps hwpstate cpb'
'processor'_____________________________:'1'
'siblings'______________________________:'4'
'stepping'______________________________:'2'
'vendor_id'_____________________________:'AuthenticAMD'
'wp'____________________________________:'yes'