R:训练集和测试集对分类解释变量采用不同的值:逻辑回归

Question

我正在尝试预测遗传变异所属的类别。我的数据框在我的代码中称为“遗传”。我将数据帧分成训练和测试数据集，如下所示:

set.seed(1)
train=sample(54248,27124)
test=-train
Genetictrain=Genetic[train,]
Genetictest=Genetic[test,]

问题是我的解释变量之一(分类变量，数据帧的列之一)在训练集 (Genetictrain) 和测试集 (Genetictest) 中采用不同的值。解释变量称为 Genetic$Consequence。遗传$后果的级别是:

 [1] "3_prime_UTR_variant"                                           
 [2] "5_prime_UTR_variant"                                           
 [3] "downstream_gene_variant"                                       
 [4] "frameshift_variant"                                            
 [5] "frameshift_variant&splice_region_variant"                      
 [6] "frameshift_variant&start_lost"                                 
 [7] "frameshift_variant&start_lost&start_retained_variant"          
 [8] "frameshift_variant&stop_lost"                                  
 [9] "frameshift_variant&stop_retained_variant"                      
[10] "inframe_deletion"                                              
[11] "inframe_deletion&splice_region_variant"                        
[12] "inframe_insertion"                                             
[13] "inframe_insertion&splice_region_variant"                       
[14] "intergenic_variant"                                            
[15] "intron_variant"                                                
[16] "intron_variant&non_coding_transcript_variant"                  
[17] "missense_variant"                                              
[18] "missense_variant&splice_region_variant"                        
[19] "protein_altering_variant"                                      
[20] "splice_acceptor_variant"                                       
[21] "splice_acceptor_variant&coding_sequence_variant"               
[22] 
"splice_acceptor_variant&coding_sequence_variant&intron_variant"
[23] "splice_acceptor_variant&intron_variant"                        
[24] "splice_donor_variant"                                          
[25] "splice_donor_variant&coding_sequence_variant"                  
[26] "splice_donor_variant&coding_sequence_variant&intron_variant"   
[27] "splice_donor_variant&intron_variant"                           
[28] "splice_region_variant&3_prime_UTR_variant"                     
[29] "splice_region_variant&5_prime_UTR_variant"                     
[30] "splice_region_variant&coding_sequence_variant&intron_variant"  
[31] "splice_region_variant&intron_variant"                          
[32] "splice_region_variant&synonymous_variant"                      
[33] "start_lost"                                                    
[34] "start_lost&5_prime_UTR_variant"                                
[35] "start_lost&splice_region_variant"                              
[36] "stop_gained"                                                   
[37] "stop_gained&frameshift_variant"                                
[38] "stop_gained&inframe_deletion"                                  
[39] "stop_gained&inframe_insertion"                                 
[40] "stop_gained&protein_altering_variant"                          
[41] "stop_gained&splice_region_variant"                             
[42] "stop_lost"                                                     
[43] "stop_lost&3_prime_UTR_variant"                                 
[44] "stop_retained_variant"                                         
[45] "stop_retained_variant&3_prime_UTR_variant"                     
[46] "synonymous_variant"   
[47] "TF_binding_site_variant"                                       
[48] "upstream_gene_variant"  

但是:当我对训练数据(Genetictrain)运行逻辑回归时，出现错误:

Error in model.frame.default(Terms, newdata, na.action = na.action, xlev = object$xlevels) : 
  factor Consequence has new levels frameshift_variant&stop_retained_variant, protein_altering_variant, splice_acceptor_variant&coding_sequence_variant, start_lost&splice_region_variant, stop_retained_variant&3_prime_UTR_variant

我的逻辑回归代码是:

Logisticfit=glm(CLASS~AF_TGP + Consequence + CHROM + AF_ESP+STRAND + AF_EXAC + CADD_RAW + LoFtool + CADD_PHRED,data=Genetictrain,family="binomial")
LogisticProb=predict(Logisticfit,Genetictest,type="response")

错误结果(使用上面的预测函数运行代码)是因为训练集 Genetictrain 没有出现任何 Consequence 的蛋白质改变变体，但 Genetictest 确实出现了 Consequence 的蛋白质改变变体:

which(Genetictrain$Consequence=="protein_altering_variant")
integer(0)
 which(Genetictest$Consequence=="protein_altering_variant")
[1] 10720

与错误带来的其他值相同。

有什么办法可以避免这个问题，这样我就可以运行预测函数而不会收到错误(注意我的解释变量都是分类变量和连续变量，并且我正在尝试预测二进制 0 或 1 的 CLASS)？后果对我来说是一个重要的解释变量，所以我不想删除它。
谢谢!

Answer 1

刚刚检查了您的数据框。数据集出现问题不匹配

训练数据集和测试数据集在 Genetic$consequence 中没有相同的信息。

检查以下代码:

data.frame(table(Genetic$Consequence))%>%setNames(.,c("Consequnce","Freq"))%>%arrange(Freq)

输出:

                                                       Consequnce  Freq
1            frameshift_variant&start_lost&start_retained_variant     1
2                        frameshift_variant&stop_retained_variant     1
3                         inframe_insertion&splice_region_variant     1
4                    intron_variant&non_coding_transcript_variant     1
5    splice_region_variant&coding_sequence_variant&intron_variant     1
6                                  start_lost&5_prime_UTR_variant     1
7                                    stop_gained&inframe_deletion     1
8                                   stop_gained&inframe_insertion     1
9                            stop_gained&protein_altering_variant     1

频率结果有 9 种类型，其中 1 表示如果您分割将进入训练或测试数据集的数据帧。

示例举例来说，“frameshift_variant&start_lost&start_retained_variant”在 Genericdata$consequence 中仅包含一行，因此当您划分数据帧时，它将进入训练或测试数据集。如果训练数据集中的该行则测试数据集中没有行。仅此而已返回错误。

解决方案:尝试获取更多频率为 1 的变量(意味着只有一行存在，因此至少需要 2 个用于一列火车，一个用于测试数据集) 或者您可以将数据集(如频率)子集化为低数字，以便您可以轻松地在训练和测试数据集中获取信息。