python - 如何为句子列表创建窗口/ block ？

Question

我有句子列表，我想创建skipgram (窗口大小= 3)，但我不希望计数器跨越句子，因为它们都是不相关的。

所以，如果我有句子:

[["my name is John"] , ["This PC is black"]]

三胞胎将是:

[my name is]
[name is john]
[this PC is]
[PC is black]

最好的方法是什么？

Answer 1

这是一个简单的函数来做到这一点。

def skipgram(corpus, window_size = 3):
    sg = []
    for sent in corpus:
        sent = sent[0].split()
        if len(sent) <= window_size:
            sg.append(sent)
        else:
            for i in range(0, len(sent)-window_size+1):
                sg.append(sent[i: i+window_size])
    return sg

corpus = [["my name is John"] , ["This PC is black"]]
skipgram(corups)