python - 有关管理大型、多方面的企业 Python 代码库的信息？

Question

我用谷歌搜索了又搜索，但几乎没有发现任何有关使用 Python 管理大型企业代码库的讨论或最佳实践。在这里，我只是征求对此类信息的任何和所有指示。这是一些背景知识和一些我想回答的问题。

我们是长期的 Java 开发人员，他们已经解决了与下面提到的问题类似的问题，主要是使用成熟的 Java 最佳实践，以及 Maven、Ant 和 Sonotype Nexus 存储库。

我在这里只谈论内部软件。我们不打算分发任何基于 Python 的东西。我们有多个使用 Python 的开发组，每个开发组都使用纯 Python 开发可共享的实用程序代码库、最终的 Web 应用程序和独立工具。每个小组都有自己的 Github 源代码库。

我们如何管理组内和组间的可共享代码？我们是否创建鸡蛋(或类似的东西)并将它们分发并安装到 Python 系统中？如果是这样，我们会像我们的 Java jar 一样将它们存储在我们的 Nexus 存储库中，或者如果内部包分发，是否有更特定于 Python 的方法？或者，我们是否只是共享原始代码，检查来自多个 Github 存储库的源代码？

如果我们共享原始代码，当我们将来自多个存储库的代码放在一起时，我们如何管理正确的 Python 搜索路径？

当我们希望我们的包都位于 com.ourcompany 基本命名空间中时，我们如何管理包命名空间？当您将具有重叠 namespace 的源代码树放在一起时，python 似乎不太高兴。

我们如何管理第三方包的版本控制？我从未见过 easy_install 或 pip 传递版本号。我们如何锁定第三方软件包版本？

是否存在辅助 Python 代码审查、CI、回归测试等的工具？

我们是 Python 代码的新手，因此其中一些问题可能有相当明显的答案。不过，令我惊讶的是，我找不到更多关于管理大型 Python 代码库的信息。

我们会遇到哪些问题是我没有想过要问的，或者还不够了解甚至不知道要问的问题？

任何有值(value)的指示将不胜感激。

Answer 1

好吧，我什至不会尝试回答所有那些(优秀的)问题，但这里有一些自以为是的建议，希望能有所帮助(作为一个在两个世界工作的人，虽然更多的是 Java ).

包装

If so, would we store them in our Nexus repo like our Java jars, or is there a more Python-specific method if internal package distribution? Or, do we just share raw code, checking out sources from multiple Github repos?

恕我直言，Python 中的打包在历史上有点困惑，但感觉它正在改进。 Distutils是这里的主要/ native 工具——我用得不多，有些地方感觉有点吓人。一般来说，还要检查 recommended tools .

Pip几乎赢得了思想共享之战，尤其是在安装 3rd 方库时。我自己还没有解决本 map 书馆的问题(也许其他人阅读过)，但如果我解决了，我可能会选择带有本地/网络磁盘 repo 协议(protocol)的 Pip，例如通过 installing from wheels .

另一种选择(它本身可能会导致各种麻烦)是在操作系统的 native 打包程序中打包，无论是 Debian 风格 apt或通过 creating RPMs等。当然，Windows 没那么多。

版本控制等

How do we manage third party package versioning? I've never seen easy_install or pip passed a version number.

点数

Pip definitely supports version specifiers .结果 Easy Install does too .我想很多人/较小的项目都选择最新最好的，当然这在企业中并不总是“合适”...

虚拟环境

没有关于版本控制和 Python 的讨论会错过 Python2/3 引用，但我相信您已经了解了所有这些。

然后更重要的是提及 virtualenv .它真正将您从测试多个版本的困惑中解放出来，尤其要记住您的 (*NIX) 操作系统通常严重依赖 Python 本身。这是一个很大的主题，所以请查看文档。

开发者工具

Do tools exist to aid in Python code reviews, CI, regression testing, etc.?

代码审查

非常喜欢。大多数代码审查工具都是多语言的(这实际上只是一个格式问题)，所以只需选择您最喜欢的企业友好型工具即可 Crucible , Github 的一个(酒保？)，Gerrit ，或其他。

CI

对于 CI，您又有几乎一样多的选择。运行 Python 应用程序通常比 Java 应用程序更少涉及，因此大多数 CI 系统虽然通常以 Java 为中心，但支持 Python。 (FWIW，我们使用 drone.io 作为 Quod Libet )。 Jenkins 这样做应该没有问题，而且人们似乎有 done so with TeamCity .

然而，“原始”或“最Pythonic”可能是Buildbot ，但我没有亲自使用过它。看起来比我内存中的要新很多，而且我认为它在 Python 社区中得到了很多支持......

测试

对于测试，虽然不像 JUnit/TestNG 那样相当成熟，但请查看实际/类似 JUnit 的单元测试 unittest ，还有(更好的？)替代品，如 nose.py .

对于更高级别 (BDD) 测试，请尝试类似 Lettuce 的内容- 顾名思义，深受 cucumber 的启发，或者可能是Behave .我没有尝试过它们，但普遍认为它们不如 Cucumber/JBehave/Concordion/Rspec 等成熟。