python - arrow_table = pa.Table.from_pandas(df) ... 将 Python 对象转换为 String/UTF8 时出错

Question

我编写了一个简单的代码来使用 pandas 的 read_csv 读取 .csv (完全取决于 pandas 类型推断)。我收到错误消息:

arrow_table = pa.Table.from_pandas(df)"): Error converting to Python objects to String/UTF8

我在互联网上找不到任何有用的内容来解决此问题。如何在 pyarrow.from_pandas(type= ...) 中使用“type”参数

谢谢。

$ python pqwrite2.py

pyarrow version = 0.7.1

  from_size = 298877474 bytes

sys:1: DtypeWarning: Columns (23,28) have mixed types. Specify dtype option on import or set low_memory=False.
id                                   int64
...
pid                                 object
mnemonic                            object
supplier_key                       float64
generic                             object
trade_name                          object
description                         object
strength                            object
form                                object
ndc                                 object
note                                object
pack_size                          float64
pack_size_text                      object
pack_type                           object
route_description                   object
...
status                              object
hidden_flag                         object
updated                            float64
created_at                          object
updated_at                          object
medid                               object



dtype: object
write_to_parquet(df, parquet_output/h_billing_codes.SNAPPY.parquet, SNAPPY) ...
ERROR:root:2017-12-13 02:22:48 EXCEPTION IN (pqwrite2.py, LINE 23 "arrow_table = pa.Table.from_pandas(df)"): Error converting to Python objects to String/UTF8: Got Python object of type float but can only handle these types: str, bytes
2017-12-13 02:22:48 EXCEPTION IN (pqwrite2.py, LINE 23 "arrow_table = pa.Table.from_pandas(df)"): Error converting to Python objects to String/UTF8: Got Python object of type float but can only handle these types: str, bytes

Answer 1

完整的错误消息是

Error converting to Python objects to String/UTF8: Got Python object of type float but can only handle these types: str, bytes

看起来有一列包含浮点值和字符串。 pandas.read_csv 通过消息 DtypeWarning:列 (23,28) 具有混合类型 警告您这一点。对于大文件有时会发生这种情况。我建议为这些有问题的列指定一个显式类型，以便 Arrow 提供的数据都是相同类型的。

在 Arrow 的 future 版本中，我们可能支持在这种情况下生成“Union”类型列，并使用一些函数来清理或转换有问题的类型之一(例如，您可以说“将所有不是字符串的内容转换为string”)，但我不确定什么时候会实现。