python - 我如何将字符串转换为 Python 中的标记列表？

Question

当我输入这个时:

>>>tokenize('<[2{12.5 6.0}](3 -4 5)>')

我想找回这个:

['<', '[', 2, '{', 12.5, 6.0, '}', ']', '(', 3, -4, 5, ')', '>']

基本上，我将如何保留它以便输入将所有内容转换为列表，同时保持数字的原始值。

Answer 1

你可以尝试使用tokenizer ，除了像 -4 这样的负数，它给你的结果几乎和你预期的一样，但它非常接近。

from StringIO import StringIO
import tokenize
str = '<[2{12.5 6.0}](3 -4 5)>'
tokens = tokenize.generate_tokens(StringIO(str).readline)
result = [x[1] for x in tokens]

结果如下:

['[', '2', '{', '12.5', '6.0', '}', ']', '(', '3', '-', '4', '5', ')', '>', '']