r - 使用预测模型和 TunePareto 包测试和训练数据集

Question

我正在尝试为具体问题选择最佳的预测/分类模型。我被要求遵循的方法是这样的:

• 将数据分为测试数据和训练数据。
• 使用训练数据运行具体模型，并通过 10 倍交叉验证对其进行评估，以获得该模型的最佳参数(评估给定的误差)。
• 对其他模型重复此操作，直到为每个选定的分类模型提供最佳配置。
• 最后，我必须使用最佳参数集重新运行每个模型，其中要训练的数据是“trainingdata”，给出的结果错误可能来自“testdata”(请注意，测试数据没有到目前为止一直使用，以避免最终比较时失真)。

我一直在使用 TunePareto 包来完成这项工作，它有一个很好且易于运行的函数，可以在数据帧上运行一些分类模型(如 Naive Byes 或 kNN)以及 10 倍 CV。问题出现在我提到的最后一个任务中:我不知道如何使用特定的数据帧作为 TunePareto 的测试。有人可以帮我解决这个问题吗？

我搜索了一些示例，但一无所获。如果 TunePareto 不允许这样做，我会很高兴听到替代方案。

Answer 1

From the documentation ，函数 tuneParetoClassifier 似乎有一个参数 testDataName，您可以在其中提供独立的测试数据集。以下是该函数的定义:

tuneParetoClassifier(name, classifier, classifierParamNames = NULL, predefinedClassifierParams = NULL, predictor = NULL, predictorParamNames = NULL, predefinedPredictorParams = NULL, useFormula = FALSE, formulaName = "formula", trainDataName = "x", trainLabelName = "y", testDataName = "newdata", modelName = "object", requiredPackages = NULL)