machine-learning - 如何测试机器学习或统计 NLP 算法实现包？

Question

我正在测试几种机器学习算法的实现，检查它们是否能够像论文中描述的那样高效工作，并确保它们能够为我们的统计 NLP(自然语言处理)平台提供强大的功能。

你们能给我展示一些测试算法实现的方法吗？1)哪些方面？2)如何？3)我必须遵循一些基本步骤吗？4)使用不同的编程语言时是否必须考虑多样性的具体情况？5)我必须了解算法吗？我的意思是，如果我真的知道算法是什么以及它是如何工作的，它会提供任何帮助吗？

基本上，我们使用 C 或 C++ 来实现算法，我们的工作环境是 Linux/Unix。我们的测试方法只关注黑盒测试和测试函数的输入/输出。我渴望改进它们，但我现在没有更好的想法......

非常感谢!!哈哈

Answer 1

对于许多机器学习和统计分类任务，衡量质量的标准指标是 Precision and Recall 。大多数已发布的算法都会对这些指标做出某种声明，或者您可以自己实现它们并运行这些测试。这应该可以很好地衡量您可以期望的质量。

当您谈论算法的效率时，这通常是关于算法在输入的大小或复杂性方面的时间或空间性能的陈述(通常用 Big O notation 表示)。大多数已发布的算法都会报告算法的时间和空间特征的上限。您可以将其用作比较指标，尽管您需要了解一些有关计算复杂性的知识，以确保您没有欺骗自己。您还可以通过手动检查程序代码来获取此信息，但这可能没有必要，因为此信息几乎总是与算法一起发布。

最后，了解算法总是一个好主意。它使您更容易知道作为该算法的用户需要做什么，以确保您获得最佳结果(并且确实知道您获得的结果是否合理)，并且它将使您能够应用质量措施，例如我在本答案第一段中建议的措施。