python - numpy.ufunc 大小错误，尝试重新编译。即使使用最新的 pandas 和 numpy 版本

Question

我在容器中使用 pandas 时出现以下错误:

Traceback (most recent call last):
  File "/volumes/dependencies/site-packages/celery/app/trace.py", line 374, in trace_task
    R = retval = fun(*args, **kwargs)
  File "/volumes/dependencies/site-packages/celery/app/trace.py", line 629, in __protected_call__
    return self.run(*args, **kwargs)
  File "/volumes/code/autoai/celery/data_template/api.py", line 16, in run_data_template_task
    data_template.run(data_bundle, columns=columns)
  File "/volumes/code/autoai/models/data_template.py", line 504, in run
    self.to_parquet(data_bundle, columns=columns)
  File "/volumes/code/autoai/models/data_template.py", line 162, in to_parquet
    }, parquet_path=data_file.path, directory="", dataset=self)
  File "/volumes/code/autoai/core/datasets/parquet_converter.py", line 46, in convert
    file_system.write_dataframe(parquet_path, chunk, directory, append=append)
  File "/volumes/code/autoai/core/file_systems.py", line 76, in write_dataframe
    append=append)
  File "/volumes/dependencies/site-packages/pandas/core/frame.py", line 1945, in to_parquet
    compression=compression, **kwargs)
  File "/volumes/dependencies/site-packages/pandas/io/parquet.py", line 256, in to_parquet
    impl = get_engine(engine)
  File "/volumes/dependencies/site-packages/pandas/io/parquet.py", line 40, in get_engine
    return FastParquetImpl()
  File "/volumes/dependencies/site-packages/pandas/io/parquet.py", line 180, in __init__
    import fastparquet
  File "/volumes/dependencies/site-packages/fastparquet/__init__.py", line 8, in <module>
    from .core import read_thrift
  File "/volumes/dependencies/site-packages/fastparquet/core.py", line 13, in <module>
    from . import encoding
  File "/volumes/dependencies/site-packages/fastparquet/encoding.py", line 11, in <module>
    from .speedups import unpack_byte_array
  File "__init__.pxd", line 861, in init fastparquet.speedups
ValueError: numpy.ufunc has the wrong size, try recompiling. Expected 192, got 216

我阅读了other answers当针对比您安装的版本更新的 numpy 版本编译 pandas 时，会显示此消息。但是同时更新 pandas 和 numpy 对我不起作用。我试图找出我是否有几个版本的 numpy，但是 pip show numpy 似乎显示的是最新版本。

此外，以一种奇怪的方式，这仅在我在本地而不是在服务器上部署时发生。

关于如何解决这个问题有什么想法吗？或者至少如何调试我的 numpy 和 pandas 版本(如果有多个版本我该如何检查)

我试过:升级两个包并删除并重新安装它们。那里没有帮助。

Answer 1

TLDR:如果 docker添加:

RUN pip install numpy

在安装 pandas 之前(可能只是您的 pip install -r requirements.txt)它会再次工作。

我在 docker building pandas in alpine 中执行此操作并遇到了同样的问题，它只是突然出现(2018 年 12 月 27 日左右)对于一个之前一直运行良好的构建。