python - 值错误 : y contains new labels: ['#' ]

Question

我有一个列表列表，每个列表包含 1 到 5 个标签。我构建了一个包含前 50 个标签的列表。我的目标是构建一个新的列表列表，其中每个列表仅包含前 50 个标签。我的方法是这样的:

首先，我构建了一个新的列表列表，其中只有前 50 个标签:

top_50 = list(np.array(pd.read_csv(os.path.join(dir,"Tags.csv")))[:,1])
train = pd.read_csv(os.path.join(dir,"Train.csv"),iterator = True)
top_50 = top_50[:51]
tags = list(np.array(train.get_chunk(50000))[:,3])

top_50_tags = [[tag for tag in list if tag in top_50] for list in tags]

然后我尝试对标签进行编码:

    coder = preprocessing.LabelEncoder()  
    coder = coder.fit(top_50)
    tags = [coder.transform(tag) for tag in list for list in top_50_tags]

然而，这给了我这个错误:

Traceback (most recent call last):
  File "C:\Users\Ano\workspace\final_submission\src\rf_test.py", line 69, in <module>
    main()
  File "C:\Users\Ano\workspace\final_submission\src\rf_test.py", line 33, in main
    labels = [coder.transform(tag) for tag in list for list in top_50_tags]
  File "C:\Python27\lib\site-packages\sklearn\preprocessing\label.py", line 120, in transform
    raise ValueError("y contains new labels: %s" % str(diff))
ValueError: y contains new labels: ['#']

我认为出现此错误是因为我的一些列表是空的，因为其中没有前 50 个标签。但错误明确指出 ["#"] 是新看到的标签。我的假设是否正确？我应该如何处理错误消息？
编辑:对于那些想知道为什么我在列表理解中使用列表作为变量的人，我实际上在我的实际程序中使用了不同的词作为变量。

更新

我检查了我的 top_50 和标签的差异:

print(len(top_50.difference(tags)))

这给了我 0 的长度。这应该意味着我的空列表是问题所在？

Answer 1

也许你可以检查这个问题:https://github.com/scikit-learn/scikit-learn/issues/3123在 scikit-learn 0.17 版本中，此错误已得到解决。