performance - 如何对不同编程语言编写的库进行性能测试？

Question

问题是:给定许多具有相似或相同范围的编程库(例如 XML 解析器、正则表达式、标记等)；是否有工具可以对这些库进行性能测试并进行比较(并生成报告)，即使这些库可能是用不同的编程语言编写的(例如 java、C#、ruby、python、perl 等) ？

我看了这些opensourcetesting.org/performance.php ，但它们都不符合上述(有点模糊)的要求。

是否有用于跨语言跨平台性能测试的工具包或框架？

谢谢。

Answer 1

我不会尝试将单一工具包用于多种语言。这不太可能为每个应用带来最佳(甚至平均)性能。

相反，我会尝试提出一个框架设计，它定义了要测试的内容，并有一个通用的数据集。然后每种语言/库都可以提供自己的框架实现，用于测试适合该库的操作。这样，即使操作不使用完全相同的语法/调用，操作也可以是“逻辑上等效的”。您最终测试的是该库/语言的惯用代码，而不仅仅是最低公分母。

这是我用来对 Protocol Buffers 进行基准测试的方法。到目前为止，我的非常基本的框架已经在 C# 和 Java 中实现，我现在正在编写一个更丰富的框架，它允许运行整个“基准脚本”。一个理想的目标是同一平台内的不同实现(例如 Protocol Buffers 的不同 .NET 实现)应该能够毫不费力地连接到相同的核心基准测试代码。

在我看来，重要的是拥有一组通用的操作(即使它们不是所有由所有库实现)和一个通用数据放。这是基准测试有意义的唯一方式。