python - Python的构建过程工具

Question

我是一名Java开发人员，为Apache Spark编写(独立)应用程序。为了创建 Artifact ，我将Gradle与ShadowJar插件一起使用。

一些队友想使用Python。当前，他们使用JetBrains PyCharm编写这些Python脚本并在Spark集群环境中远程执行它们。但是，此过程无法很好地扩展(如果涉及多个文件，该怎么办？)，我正在Python生态系统中寻找解决方案。问题是我和我的团队成员都不是Python专家(实际上其他团队成员都不是开发人员，而是必须编写代码。管理决策...)，所以我们不知 Prop 体是什么。 Python开发的最佳实践。

我尝试了PyGradle，但感觉无法平稳集成，尤其是使用Apache Spark时。我绊倒了像Pip，Pex，Setuptools，VirtualEnv之类的名称。这些工具是什么？它们如何相互干扰？

为了避免X-Y问题:我想要一个可以使用一个命令(例如gradle build)构建，(单元测试)和打包的Codebase。生成的 Artifact 应能够在Spark集群上部署和执行。

Answer 1

我也是这个世界的新手，想在AI启动中设置流程。我认为http://pybuilder.github.io/至少是自动化的良好起点，因为我正在尝试在我们当中进行设置。