python - 在 Windows 中创建的 Parquet 文件无法在 Ubuntu 中打开

Question

所以我使用以下几行在我的 Windows 10 计算机上创建了一个 Parquet 文件

# pandas and pyarrow installed using pip on Python 3.9
# pip install pandas==1.4.2
# pip install pyarrow==7.0.0

import pandas as pd

df = pd.DataFrame(dict(x=[0, 1, 2], y=[3, 4, 5]))
df.to_parquet('some/path/to/my/windows_parquet_file.parquet')

现在我正在 Azure Pipelines 中创建一个管道，我想通过执行 Python 脚本将其加载到同一个文件中。执行 python 脚本的代理的操作系统是 Ubuntu 20.04.4。该脚本的内容:

# pandas and pyarrow installed using pip on Python 3.9
# pip install pandas==1.4.2
# pip install pyarrow==7.0.0

import pandas as pd

parquet_file_path = 'some/path/to/my/windows_parquet_file.parquet'
df = pd.read_parquet(parquet_file_path)

但是，最后一行给了我一个错误

Traceback (most recent call last):
  File "/home/vsts/work/_temp/ec5ac2c3-4983-41d5-abe4-cd532dafb5af.py", line 4, in <module>
    df = pd.read_parquet(parquet_file_path)
  File "/opt/hostedtoolcache/Python/3.9.12/x64/lib/python3.9/site-packages/pandas/io/parquet.py", line 493, in read_parquet
    return impl.read(
  File "/opt/hostedtoolcache/Python/3.9.12/x64/lib/python3.9/site-packages/pandas/io/parquet.py", line 240, in read
    result = self.api.parquet.read_table(
  File "/opt/hostedtoolcache/Python/3.9.12/x64/lib/python3.9/site-packages/pyarrow/parquet.py", line 1960, in read_table
    dataset = _ParquetDatasetV2(
  File "/opt/hostedtoolcache/Python/3.9.12/x64/lib/python3.9/site-packages/pyarrow/parquet.py", line 1766, in __init__
    [fragment], schema=fragment.physical_schema,
  File "pyarrow/_dataset.pyx", line 797, in pyarrow._dataset.Fragment.physical_schema.__get__
  File "pyarrow/error.pxi", line 143, in pyarrow.lib.pyarrow_internal_check_status
  File "pyarrow/error.pxi", line 99, in pyarrow.lib.check_status
pyarrow.lib.ArrowInvalid: Could not open Parquet input source '<Buffer>': Parquet magic bytes not found in footer. Either the file is corrupted or this is not a parquet file.

有谁知道为什么会提出这个问题以及如何解决它？
我一直在浏览互联网，但找不到任何指出在不同操作系统上写入/读取 Parquet 文件的差异。
我的 PC 和代理 VM 上的 Python 版本都是 3.9。

Answer 1

因此，在花了相当多的时间解决这个问题之后，我找到了这个错误的原因和解决方案。
该问题与不同的操作系统或软件包版本或任何其他问题无关。
我提到的文件是 GIT lfs 的一部分。因此，该文件不再是 Parquet 文件，而是指向此类文件的链接。
解决方案是确保在尝试访问之前下载任何相关文件。
在我使用 Azure Pipelines 的特定情况下，我在这里找到了解决方案:
How to use Git LFS with Azure Repos and Pipelines