pyspark - 带有 pyspark 的 Pylint 会抛出不正确的警告

Question

我想使用pylint。但是当我将它应用到我使用 pyspark 的代码时，我收到警告“drop_duplicates is not callable”。如果我将代码从“drop_duplicates”更改为“dropDuplicates”，警告就会消失。如何在不更改整个代码的情况下修复它？我认为 drop_duplicates 更像 python 风格。我尝试添加 pyspark-stubs，但它确实有帮助。

Answer 1

由于 JVM 生成的成员，PySpark 在涉及 linting(即使使用 stub )时是一场噩梦。

如果您打算忽略这些，您有两个选择:

1. 将以下内容添加到项目根目录中的 .pylintrc 文件中，并确保您的 linter 已配置为接收它:

extension-pkg-whitelist=pyspark
generated-members=pyspark.*
ignored-modules=pyspark.sql.functions

1. 无论何时运行 lint，请使用以下参数运行它:

pylint -j 0 --ignored-modules=pyspark.sql.functions --extension-pkg-whitelist=pyspark --generated-members=pyspark.*

希望这对您有所帮助。