python - 为包含单词的列表生成唯一的 ID

Question

我有包含单词对的列表列表，并且想要在 ids 上描述单词。 Ids 应该从 0 到 len(set(words))。该列表现在如下所示:

[['pluripotent', 'Scharte'],
 ['Halswirbel', 'präventiv'],
 ['Kleiber', 'Blauspecht'],
 ['Kleiber', 'Scheidung'],
 ['Nillenlutscher', 'Salzstangenlecker']]    

结果应具有相同的格式，但使用 id。例如:

[[0, 1],
 [2, 3],
 [4, 5],
 [4, 6],
 [7, 8]]

到目前为止我已经有了这个，但它没有给我正确的输出:

def words_to_ids(labels):
  vocabulary = []
  word_to_id = {}
  ids = []
  for word1,word2 in labels:
      vocabulary.append(word1)
      vocabulary.append(word2)

  for i, word in enumerate(vocabulary):
      word_to_id [word] = i
  for word1,word2 in labels:
      ids.append([word_to_id [word1], word_to_id [word1]])
  print(ids)

输出:

[[0, 0], [2, 2], [6, 6], [6, 6], [8, 8]]

它在有唯一单词的地方重复 id。

Answer 1

您有两个错误。首先，你有一个简单的错字，在这里:

for word1,word2 in labels:
    ids.append([word_to_id [word1], word_to_id [word1]])

您正在添加 word1 的 ID 两次，就在那里。纠正第二个word1查找word2相反。

接下来，您不会测试您之前是否见过某个单词，因此对于 'Kleiber'你首先给它id 4 ，然后用 6 覆盖该条目下一次迭代。您需要给出唯一个单词编号，而不是所有单词:

counter = 0
for word in vocabulary:
    if word not in word_to_id:
        word_to_id[word] = counter
        counter += 1

或者您可以简单地不向 vocabulary 添加单词如果您已经列出了该单词。你真的不需要一个单独的 vocabulary顺便说一下，在这里列出。单独的循环不会给您带来任何东西，因此以下内容也适用:

word_to_id = {}
counter = 0
for words in labels:
    for word in words:
        word_to_id [word] = counter
        counter += 1

通过使用 defaultdict object 可以大大简化代码。和 itertools.count() 提供默认值:

from collections import defaultdict
from itertools import count

def words_to_ids(labels):
    word_ids = defaultdict(count().__next__)
    return [[word_ids[w1], word_ids[w2]] for w1, w2 in labels]

count()对象每次都会为您提供一系列中的下一个整数值 __next__被称为，并且 defaultdict()每次您尝试访问字典中尚不存在的键时都会调用它。它们共同确保每个唯一单词都有唯一的 ID。