python - Pandas HDFStore 警告

Question

我想知道为什么 HDFStore 会在 pandas 中的字符串列上发出警告。我认为它可能是我真实数据库中的 NaN，但在这里尝试它会给我两个列的警告，即使一个没有混合并且只是字符串。

使用 .13.1 pandas 和 3.1.1 表

In [75]: d1 = {1:{'Mix': 'Hello', 'Good': 'Hello'}}

In [76]: d2 = {2:{'Good':'Goodbye'}}

In [77]: d2_df = pd.DataFrame.from_dict(d2,orient='index')

In [78]: d_df = pd.DataFrame.from_dict(d1,orient='index')

In [80]: d = pd.concat([d_df,d2_df])

In [81]: d
Out[81]:
      Good    Mix
1    Hello  Hello
2  Goodbye    NaN

[2 rows x 2 columns]

In [84]: d.to_hdf('test_.h5','d')
/home/cschwalbach/venv/lib/python2.7/site-packages/pandas-0.13.1-py2.7-linux-x86_64.egg/pandas/io/pytables.py:2446: PerformanceWarning:
your performance may suffer as PyTables will pickle object types that it cannot
map directly to c-types [inferred_type->mixed,key->block0_values] [items->['Good', 'Mix']]

  warnings.warn(ws, PerformanceWarning)

Answer 1

当使用fixed格式存储时(如果你没有指定format，默认为fixed)，你存储的是object dtypes(字符串在 pandas 中存储为对象 dtypes)。这些是数组类型(CArray、EArray)中的 PyTables 不支持的可变长度格式，请参阅警告 here

但是您可以存储在format='table'中；在这里查看 docs关于存储固定长度的字符串。