r - 是否可以使用比使用因子时更小的数据集？

Question

我正在尝试减少我的某些数据集的内存占用，其中每列都有一小组因子(重复了很多次)。有没有更好的方法来减少它？为了进行比较，这就是我从仅使用因素中得到的结果:

library(pryr)

N <- 10 * 8
M <- 10

初始数据:

test <- data.frame(A = c(rep(strrep("A", M), N), rep(strrep("B", N), N)))
object_size(test)
# 1.95 kB

使用因素:

test2 <- as.factor(test$A)
object_size(test2)
# 1.33 kB

旁白:我天真地认为他们用数字代替了字符串，并惊喜地看到 test2小于 test3 .谁能指点我一些关于如何优化因子表示的 Material ？

test3 <- data.frame(A = c(rep("1", N), rep("2", N)))
object_size(test3)
# 1.82 kB

Answer 1

恐怕差别很小。

原理很简单:而不是(在您的示例中)160 个字符串，您只需存储 2 个，以及 160 个整数(只有 4 个字节)。
除了 R 类以相同的方式在内部存储字符。

每种现代语言都支持(几乎)无限长度的字符串。这会导致您无法将字符串向量(或数组)存储为一个连续块的问题，因为任何元素都可以重置为任意长度。因此，如果将另一个值分配给一个元素，而该值恰好稍长一些，则意味着数组的其余部分将不得不移动。或者操作系统/语言应该为每个字符串保留大量空间。
因此，字符串存储在内存中任何方便的位置，数组(或 R 中的向量)存储为指向值实际所在位置的指针块。
在 R 的早期，每个指针都指向内存中的另一个位置，即使实际值相同。所以在你的例子中，160 个指针指向 160 个内存位置。但这已经改变了，现在它被实现为 160 个指向 2 个内存位置的指针。
可能会有一些细微的差异，主要是因为一个因子通常只能支持 2^31-1 个级别，这意味着 32 位整数足以存储它，而一个字符主要使用 64 位指针。再说一次，因子的开销更大。
通常，如果您确实有很大比例的重复项，则使用因子可能会有一些优势，但如果不是这种情况，它甚至可能会损害您的内存使用。

您提供的示例不起作用，因为您将 data.frame 与因子进行比较，而不是将裸字符进行比较。
更强大的是:当我重现你的例子时，如果我设置 stringsAsFactors，我只会得到你的结果至 FALSE ，因此您将一个因子与 data.frame 中的一个因子进行比较。
比较结果，否则会给出更小的差异:字符为 1568，因子为 1328。
只有当你有很多相同的值时才有效，如果你看看这个，你会发现因子可以更大:

> object.size(factor(sample(letters)))
2224 bytes
> object.size(sample(letters))
1712 bytes

所以一般来说，没有真正的方法来压缩您的数据，同时仍然保持它易于使用，除非在您实际想要存储的内容中使用常识。