python - 如何使用Python将Json线转换为 Parquet ？

Question

我需要用 Python 以一种简单的方式来完成它。我正在尝试使用 Pandas，但我才刚刚开始，这对我来说非常困难。

现在我正在尝试使用 json2parquet:

try:
    input_filename= '/tmp/source_file'
    source_file = s3.get_object(Bucket="myBucket", Key="myJsonLinesFile")
    datajson = source_file['Body'].read()
    with open(input_filename, 'wb') as f:
         f.write(datajson)
    convert_json(input_filename, '/tmp/final.parquet')


except Exception as e:
    print(e)   
    raise e

但我收到以下错误: "errorMessage": "不能混合列表和非列表、非空值", "errorType": "箭头无效",

Answer 1

如果您使用的是 pandas 0.25.3 版本，您可以安装 fastparquet 或 pyarrow 库并执行以下代码

>>> df = pd.DataFrame(data={'col1': [1, 2], 'col2': [3, 4]})
>>> df.to_parquet('df.parquet.gzip',
...               compression='gzip')  # doctest: +SKIP

更多详细信息可以在这里找到 - https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.to_parquet.html

下面是链接

1. 快速 Parquet - https://pypi.org/project/fastparquet/
2. pyarrow - https://arrow.apache.org/docs/python/install.html#using-pip