python-3.x - 如何使用 Tokenize 模块标记化 python 代码？

Question

假设我有一个包含 Python 代码的字符串。

input = "import nltk
 from nltk.stem import PorterStemmer
 porter_stemmer=PorterStemmer()
 words=["connect","connected","connection","connections","connects"]
 stemmed_words=[porter_stemmer.stem(word) for word in words]
 stemmed_words"

如何标记代码？我找到了标记化模块(https://docs.python.org/3/library/tokenize.html)。但是，我不清楚如何使用该模块。它有 tokenize.tokenize(readline) 但参数采用生成器，而不是字符串。

Answer 1

import tokenize
import io

inp = """import nltk
 from nltk.stem import PorterStemmer
 porter_stemmer=PorterStemmer()
 words=["connect","connected","connection","connections","connects"]
 stemmed_words=[porter_stemmer.stem(word) for word in words]
 stemmed_words"""

for token in tokenize.generate_tokens(io.StringIO(inp).readline):
 print(token)

tokenize.tokenize 采用方法而非字符串。该方法应该是来自 IO 对象的 readline 方法。此外，tokenize.tokenize 需要 readline 方法返回字节，您可以使用 tokenize.generate_tokens 来使用返回字符串的 readline 方法。

您的输入也应该在文档字符串中，因为它有多行。

参见 io.TextIOBase , tokenize.generate_tokens了解更多信息。