python - 识别隐式字符串文字连接

Question

According to guido (对于其他一些 Python 程序员)，隐式字符串文字连接被认为是有害的。因此，我试图识别包含这种串联的逻辑行。

我的第一次(也是唯一一次)尝试是使用 shlex；我想用 posix=False 分割一条逻辑线，所以我将识别用引号括起来的部分，如果它们彼此相邻，它将被视为“文字串联”。

但是，这在多行字符串上失败，如以下示例所示:

shlex.split('""" Some docstring """', posix=False)
# Returns '['""', '" Some docstring "', '""']', which is considered harmful, but it's not

我可以调整这是一些奇怪的临时方法，但我想知道你是否能为此想出一个简单的解决方案。我的目的是将它添加到我已经扩展的 pep8 验证器中。

Answer 1

有趣的问题，我只是想尝试一下，因为没有答案，所以我发布了我的解决方案:

#!/usr/bin/python

import tokenize
import token
import sys

with open(sys.argv[1], 'rU') as f:
    toks = list(tokenize.generate_tokens(f.readline))
    for i in xrange(len(toks) - 1):
        tok = toks[i]
        # print tok
        tok2 = toks[i + 1]
        if tok[0] == token.STRING and tok[0] == tok2[0]:
            print "implicit concatenation in line " \
                "{} between {} and {}".format(tok[2][0], tok[1], tok2[1])

你可以自己喂程序，结果应该是

implicit concatenation in line 14 between "implicit concatenation in line " and "{} between {} and {}"