gpt4 book ai didi

python - 为 pyspark 运行 nosetests

转载 作者:太空狗 更新时间:2023-10-30 01:14:53 24 4
gpt4 key购买 nike

如何使用 nose 为用 Python 编写的 Apache Spark 应用程序运行单元测试?

有了nose,通常只需调用命令

nosetests

在 Python 包的 tests 目录中运行测试。 Pyspark 脚本需要使用 spark-submit 命令而不是通常的 Python 可执行文件来运行,以启用 pyspark 模块的导入。我如何将 nosetestspyspark 结合起来为我的 Spark 应用程序运行测试?

最佳答案

如果有帮助,我们使用 nosetest 来测试 sparkling pandas .我们在 utils 文件中做了一些魔术,以根据 SPARK_HOME shell 环境变量将 pyspark 添加到路径中。

关于python - 为 pyspark 运行 nosetests,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26670581/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com