testing - 使用小型 Spacy 模型创建测试环境

Question

这更像是一个最佳/常见做法问题。

我们在生产系统中使用 Spacy。在测试时，很多时候我们必须下载完整的 spacy 模型(解析器 + 词向量)，这可能非常慢(约 30 分钟)且令人沮丧。也许更好的策略是创建一个自定义的轻量级 spacy 模型用于测试，例如，只有 1000 个单词的词汇和一个更小的解析模型。

在使用可应用于此场景的大数据模型进行测试时，是否有建议的策略/最佳实践？

Answer 1

这基本上取决于您需要测试什么以及如何测试。您可能真的不需要或不想测试 spacy 本身，您想根据 spacy 的结果测试您的功能，并且在这方面的一个好习惯是模拟来自 spacy 的响应并测试您的代码信任 spacy 是否正常工作(它确实有测试；))。在我们的环境中，我们在导入 spacy 时加载了模型，因此我们必须模拟导入的模块才能不加载这些数据。

当然可以选择创建模型的轻量级版本，但这不是一个简单的案例，它可能需要对每个 spacy 版本更改进行工作，你必须记住其他开发人员应该能够更新模型之后当测试/需求发生变化时。

如果您确实需要这些模型，而最大的问题是等待它们被下载，请考虑对数据使用缓存。许多 CI 环境可以为您缓存模型，并且在引入更新版本的 spacy 之前它们将一直有效。