ios - 在 Swift 中显示 NLTokenizer 的索引、标记

Question

我正在使用 NLTokenizer 在 swift Playground 中显示 token 列表。

如何在标记之前显示索引号？

喜欢:

1.Introduction
2.to
3.Natural
4.Language
5.Processing

Answer 1

您可以尝试下面的代码片段。

let text = "Introduction to natural language processing"
let tokenizer = NLTokenizer(unit: .word)
tokenizer.string = text

for (index, range) in tokenizer.tokens(for: text.startIndex..<text.endIndex).enumerated() {
    print("\(index + 1).\(text[range])")
}