python - 使用 Pandas AWS Glue Python Shell 作业

Question

AWS 文档 https://docs.aws.amazon.com/glue/latest/dg/add-job-python.html

提到

The environment for running a Python shell job supports the following libraries:

...

pandas (required to be installed via the python setuptools configuration, setup.py)

但是没有提到如何安装。

如何在 AWS Glue Python Shell 作业中使用 Pandas？

Answer 1

只是为了澄清 Sandeep 的回答，这是对我有用的

1/忽略 AWS 文档

2/创建一个 setup.py 文件包含:

from setuptools import setup

setup(name="pandasmodule",
        version="0.1",
        packages=[],
        install_requires=['pandas==0.25.1']
    )

3/在包含文件的文件夹中运行此命令:

python setup.py bdist_wheel

4/上传.whl文件到s3

5/将 Glue ETL 作业中的“Python 库路径”配置为 s3 路径

您现在可以在 Glue ETL 作业中使用“import pandas as pd”