r - 如何诊断 R 导入中的重复级别

Question

我使用 R 分析来自 IPUMS 的大型数据文件, 它发布了有关人口普查记录的复杂微观数据。 IPUMS 以 SPSS、SAS 或 STATA 文件的形式提供其提取物。为了将数据导入 R，我非常幸运地下载了 SPSS 版本并使用了“foreign”库中的 read.spss 函数:

library(foreign);
ipums <- read.spss("usa_00106.sav", to.data.frame = TRUE);

这非常有效，除了这个永久警告:

Warning message:
In `levels<-`(`*tmp*`, value = if (nl == nL) as.character(labels) else paste0(labels,  :
  duplicated levels in factors are deprecated

(如果有人感到英勇，我上传了压缩的 .sav 文件 here (39Mb)以及 .SPS file 和更易于阅读的 codebook 。这只是一个示例 IPUM 提取物，就像所有 IPUM 数据，不包含私有(private)信息。)

我的问题是我的数据是否受到 SPSS 文件中重复因素的影响，或者这是否是我可以在导入后修复的问题。

为了弄清楚哪个列是罪魁祸首，我写了一个小诊断:

ipums <- read.spss("usa_00106.sav", to.data.frame = TRUE);
for (name in names(ipums)) {
  type <- class(ipums[[name]]);
  if (type == "factor") {
    print(name);
    print(anyDuplicated(levels(ipums[[name]])));    
  }
}

此循环正确地将列 BLPD 识别为罪魁祸首。这是一个人的出生地的详细版本，在 .SPS 文件中有 536 个可能的值，由以下代码确认:

fac <- levels(ipums$BPLD)
length(fac)           #536
anyDuplicated(fac)    #153
fac[153]              #"Br. Virgin Islands, ns"

当我查看 .SPS 文件时，我确实看到该位置有两个条目:

26052   "Br. Virgin Islands, ns"
26069   "Br. Virgin Islands, ns"

但是，我没有在数据中看到该位置的单个实例:

NROW(subset(ipums, ipums$BPLD=="Br. Virgin Islands, ns"))    #0

这很可能是因为这不是可能出现在数据中的常见位置，但我不能假设在未来的项目中总是如此。 因此，我的问题的第二部分是，具有重复因子的 SPSS 文件是否至少会重视正确的值，或者生成此警告消息的文件是否可能已损坏。

至于解决问题，我看到了一些相关的 StackOverflow 帖子，例如 this one ，但我不确定他们是否解决了我遇到的来自第三方的复杂公共(public)数据的问题。清理具有重复值的因子以便我对数据充满信心的最有效方法是什么？

Answer 1

SPSS 不要求值标签的唯一性。在这个数据集中，BLPD 是一个字符串。我相信 read.spss 会创建一个具有重复级别的因子，但会将所有重复值分配给其中一个。您可以在读取数据后使用 droplevels() 来摆脱未使用的级别。