python - 使用 Python 代码覆盖工具理解和修剪大型库的回溯源代码

Question

我的项目目标是低成本、低资源的嵌入式设备。我依赖于一个相对庞大且庞大的 Python 代码库，我对其 API 的使用非常具体。

我很想通过在 Ned Batchelder 的 coverage 或 figleaf 等覆盖工具中执行我的测试套件，将这个库的代码修剪到最低限度，然后在各种模块/文件中编写脚本删除未使用的代码。这不仅有助于理解库的内部结构，还有助于更轻松地编写任何补丁。 Ned 在他的一次在线演讲中实际上提到了使用覆盖工具对复杂代码进行“逆向工程”。

我向 SO 社区提出的问题是，人们是否有以这种方式使用覆盖工具的经验并且他们不介意分享？有什么陷阱？ 覆盖工具是个不错的选择吗？还是花时间在 figleaf 上会更好？

最后的目标是能够基于原始树自动为库生成一个新的源代码树，但只包括我运行 nosetests< 时实际使用的代码/强>。

如果有人开发了一种工具来为他们的 Python 应用程序和库执行类似的工作，那么获得开始开发的基线将是非常棒的。

希望我的描述对读者有意义...

Answer 1

您想要的不是“测试覆盖率”，而是来自计算根的“可以调用”的传递闭包。 (在线程应用程序中，您必须包含“可以 fork ”)。

您想要指定一些构成应用程序入口点的函数的小集(可能只有 1 个)，并且想要跟踪该小集的所有可能的被调用者(有条件的或无条件的)。这是您必须拥有的一组功能。

由于动态调度，尤其是“eval”，Python 使这在一般情况下变得非常困难(IIRC，我不是一个深厚的 Python 专家)。对于应用于高度动态语言的静态分析器来说，推断可以调用什么函数可能非常棘手。

人们可能会使用测试覆盖率作为一种方式，将“可以调用”关系与特定的“调用过”事实结合起来；这可能会捕获很多动态调度(取决于您的测试套件覆盖率)。那么你想要的结果就是“can or did”调用的传递闭包。这仍然可能是错误的，但可能不会那么严重。

一旦您获得了一组“必要的”函数，下一个问题就是从您拥有的源文件中删除不需要的函数。如果您开始使用的文件数量很大，那么手动删除无用内容的工作量可能会非常高。更糟糕的是，您可能会修改您的申请，然后修改关于保留哪些内容的答案。因此，对于每次更改(发布)，您都需要可靠地重新计算此答案。

我的公司构建了一个工具来对 Java 包进行这种分析(对动态加载和反射有适当的警告):输入是一组 Java 文件和(如上所述)一组指定的根函数。该工具计算调用图，还找到所有死成员变量并生成两个输出:a) 据称死方法和成员的列表，以及 b) 一组修改后的文件，其中删除了所有“死”内容。如果你相信 a)，那么你就使用 b)。如果你认为 a) 是错误的，那么你将 a) 中列出的元素添加到根的集合中并重复分析，直到你认为 a) 是正确的。为此，您需要一个静态分析工具来解析 Java、计算调用图，然后修改代码模块以删除无效条目。基本思想适用于任何语言。

我希望您需要一个类似的 Python 工具。

也许您可以坚持只删除完全未使用的文件，尽管这可能仍然需要大量工作。