r - 为什么在 R 中加载模型需要花费这么多时间？

Question

对于个人项目，我需要针对不同的文本运行多种机器学习算法，以便对它们进行分类。

我曾经使用 RapidMiner 来完成此操作，但我决定将所有开发转移到 R，因为我觉得我可以更好地控制它。

我现在看到的问题(我在 RapidMiner 中没有注意到)是加载模型需要花费很多时间。

例如:

我有一个模型可以检查文本是否涉及体育运动。该型号为 37.7 MB，使用我的 2.2 GH i7 Mac(配备 4GB RAM)

需要 8:34

我调用模型的方式如下:

fileNameMatrix = paste(query,query1,"-matrix.Rd", sep ="")
fileNameModel= paste(query,query1,"-model.Rd", sep ="")

load(fileNameMatrix)
load(fileNameModel)

模型是使用RTextTools生成的

您阅读的那些查询变量是因为我需要调用近 20 个模型并将它们与不同的数据集进行比较。这就是为什么虽然 8 分钟不是很多，但当我读完所有这些内容时，光是加载就花了近 3 个小时，考虑到它几乎是实时任务，这使得我的任务几乎毫无用处。

如果无法减小模型大小，我应该考虑哪些因素来减少加载时间？

我认为可疑的另一件事是，虽然矩阵文件相当小 64KB，但模型仍然是 37.7MB。模型文件是否可能比需要的大？有人使用 RTextTools 经历过类似的事情吗？

这是我在 R 中使用模型的第一个任务，所以如果我做的事情明显是错误的，请原谅。

非常感谢您的宝贵时间，我们将不胜感激任何正确方向的提示!

Answer 1

您检查过事件监视器中的 RAM 使用情况吗？压缩后的 RData 文件相对较小，但解压缩后会很大。例如，所有 0 的 n x n 矩阵基本上不会占用任何 n 的空间(这可以解释你的矩阵尺寸很小) 。您加载的模型可能会很大；我有一些 RData 文件，其大小可能为 200 MB，但无法加载到 R 的内存中。如果您的 RAM 不足，这可能会成为一个问题，因为您的计算机可能会尝试使用驱动器空间来加载文件。