gpt4 book ai didi

python - zip(*) 是如何生成 n-gram 的?

转载 作者:行者123 更新时间:2023-12-05 08:30:08 25 4
gpt4 key购买 nike

我正在复习一些关于 n-gram 的笔记,我遇到了几个有趣的函数。首先是生成二元语法:

def bigrams(word):
return sorted(list(set(''.join(bigram)
for bigram in zip(word,word[1:]))))

def bigram_print(word):
print("The bigrams of", word, "are:")
print(bigrams(word))

bigram_print("ababa")
bigram_print("babab")

在读了一些书并自己玩了 Python 之后,我明白了为什么会这样。但是,在看这个函数的时候,我很疑惑这里使用了zip(*word[i:])。我知道 * 是一个解包运算符(如 here 所解释的),但我真的被它如何结合此处的列表理解所困扰。谁能解释一下?

def ngrams(word, n):
return sorted(list(set(''.join(ngram)
for ngram in zip(*[word[i:]
for i in range(n)]))))

def ngram_print(word, n):
print("The {}-grams of {} are:".format(n, word))
print(ngrams(word, n))

for n in [2, 3, 4]:
ngram_print("ababa", n)
ngram_print("babab", n)
print()

最佳答案

下面的例子应该解释这是如何工作的。我添加了代码和它的可视化表示。

直觉

核心思想是将同一个列表的多个版本压缩在一起,每个版本都从下一个后续元素开始。

假设 L 是单词/元素列表 ['A', 'B', 'C', 'D']

然后,这里发生的事情是 L、L[1:]、L[2:] 被压缩,这意味着每个元素的第一个元素(第一个、第二个和L) 的第三个元素组合在一起,第二个元素组合在一起,依此类推..

视觉上这可以显示为:

enter image description here

我们担心的说法-

  zip (   *    [L[i:] for i in range(n)])
#|___||_______||________________________|
# | | |
# zip unpack versions of L with subsequent 0 to n elements skipped

代码示例

l = ['A','B','C','D']

print('original list: '.ljust(27),l)
print('list skipping 1st element: ',l[1:])
print('list skipping 2 elements: '.ljust(27),l[2:])
print('bi-gram: '.ljust(27), list(zip(l,l[1:])))
print('tri-gram: '.ljust(27), list(zip(l,l[1:],l[2:])))
original list:              ['A', 'B', 'C', 'D']
list skipping 1st element: ['B', 'C', 'D']
list skipping 2 elements: ['C', 'D']
bi-gram: [('A', 'B'), ('B', 'C'), ('C', 'D')]
tri-gram: [('A', 'B', 'C'), ('B', 'C', 'D')]

如您所见,您基本上是在压缩同一个列表,但跳过了一个。这将 (A, B) 和 (B, C) ... 压缩在一起以获得双字母组。

* 运算符用于解包。当您更改 i 值以跳过元素时,您基本上是在压缩 [l[0:]、l[1:]、l[2:]...] 的列表。这将传递给 zip() 并使用 * 在其中解压缩。

zip(*[word[i:] for i in range(n)] #where word is the list of words

替代列表理解

上面的列表理解等价于-

n = 3
lists = []
for i in range(3):
print(l[i:]) #comment this if not needed
lists.append(l[i:])

out = list(zip(*lists))
print(out)
['A', 'B', 'C', 'D']
['B', 'C', 'D']
['C', 'D']

[('A', 'B', 'C'), ('B', 'C', 'D')]

关于python - zip(*) 是如何生成 n-gram 的?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/66203861/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com