statistics - 如何评价和解释这个机器学习中训练好的模型？

Question

我是机器学习新手。我做了一个测试，但不知道如何解释和评估。

案例1:

我首先将数据(数据A，大约8000个字)随机分为10组(a1..a10)。在每个组中，我使用 90% 的数据来构建 ngram 模型。然后在同一组的其他 10% 数据上测试该 ngram 模型。结果准确率低于 10%。其他9组同样如此(分别建立模型并分别对该组剩余的10%数据进行测试)。所有结果的准确度约为 10%。 (这是10折交叉验证吗？)

案例2:

我首先基于大约 8000 个单词的整个数据集(数据 A)构建一个 ngram 模型。然后我将这个 A 分为 10 组(a1,a2,a3..a10)，当然是随机的。然后我使用这个 ngram 分别测试 a1,a2..a10。我发现该模型对所有组的准确率几乎为 96%。

如何解释这种情况。提前致谢。

Answer 1

1. 是的，10 倍交叉验证。

2. 这种测试方法存在在训练集上进行测试的共同缺陷。这就是准确性被夸大的原因。这是不现实的，因为在现实生活中，您的测试实例是新颖的并且系统以前从未见过。

N 重交叉验证是许多工作中使用的有效评估方法。