r - 输入矩阵的每一行需要包含至少一个非零项

Question

我在运行这段代码时遇到了这个问题

text_lda <- LDA(text_dtm, k = 2, method = "VEM", control = NULL)

我有下一个错误“输入矩阵的每一行需要至少包含一个非零项”

然后我尝试用这些行来解决这个问题

row_total = apply(text_dtm, 1, sum)
empty.rows <- text_dtm[rowTotals == 0, ]$dimnames[1][[1]]

但我有下一期

cannot allocate vector of size 3890.8 GB

这是我的 DTM 的大小:

DocumentTermMatrix documents: 1968850, terms: 265238
Non-/sparse entries: 29766814/522184069486
Sparsity           : 100%
Maximal term length: 4000
Weighting          : term frequency (tf)

Answer 1

试试这个:

empty.rows <- text_dtm[rowTotals == 0, ]$dimnames[1][[1]] 
corpus_new <- corpus[-as.numeric(empty.rows)]

或者使用tm生成dtm然后:

ui = unique(text_dtm$i)
text_dtm.new = text_dtm[ui,]