Python 3 unicode转义

Question

我有一个脚本，是按照《Learning Python for Forensics》一书中的蓝图构建的。该脚本将遍历用户指定的目录并收集该目录中每个文件的元数据。结果保存到 sqlite 数据库中，并写入 CSV 或 HTML 文件。

该脚本最初是用 Python 2.7.15 编写的。我正在尝试更新 Python 3.7 的代码。然而，摄取目录函数中有一行给我带来了问题。

ingestDirectory 函数如下所示:

def ingestDirectory(cur, source, custodian_id):    
    count = 0
    for root, folders, files in os.walk(source):
        for file_name in files:
            meta_data = dict()
            try:
                meta_data['file_name'] = file_name
                meta_data['file_path'] = os.path.join(root, file_name)
                meta_data['extension'] = os.path.splitext(file_name)[-1]

                file_stats = os.stat(meta_data['file_path'])
                meta_data['mode'] = oct(file_stats.st_mode)
                meta_data['inode'] = int(file_stats.st_ino)
                meta_data['file_size'] = int(file_stats.st_size)
                meta_data['atime'] = formatTimestamp(file_stats.st_atime)
                meta_data['mtime'] = formatTimestamp(file_stats.st_mtime)
                meta_data['ctime'] = formatTimestamp(file_stats.st_ctime)
            except Exception as e:
                logging.error('Could not gather data for file: ' + meta_data['file_path'] + e.__str__())
            meta_data['custodian'] = custodian_id
            columns = '","'.join(meta_data.keys())
            values = '","'.join(str(x).encode('string_escape') for x in meta_data.values())
            sql = 'INSERT INTO Files ("' + columns + '") VALUES ("' + values + '")'
            cur.execute(sql)
            count += 1

给我错误的行是这样的:

values = '","'.join(str(x).encode('string_escape') for x in meta_data.values())

此行的目的是在将数据写入数据库之前处理在 metadata.values 中找到的任何字符串转义字符。

当我尝试在 Python 3 中运行此代码时，我收到了有关无法识别的编解码器的错误。我在 Stack Overflow 上做了一些研究，发现 Python 3 中 string_escape 已被 unicode-escape 取代。

我对 Python 3 和 Unicode 相当陌生。我的问题是这样的:

如何更新上面的行，以便它使用 unicode-escape 而不是 string_escape 并生成与 Python 2.7 代码相同的结果？

如有任何帮助，我们将不胜感激!我已经为此工作了几天，我尝试的每个解决方案都会导致更多错误代码或损坏的输出文件。

Answer 1

您正在该代码段中生成 SQL，并且转义是为了尝试生成有效的 SQL。这是一个非常糟糕的避免 SQL 注入(inject)的尝试。它不是很有效，也不需要，因为数据库驱动程序已经知道如何以更安全的方式处理这个问题!

对于 SQL 数据库，将值放入 SQL 参数的正确方法。 SQL 参数由两个部分组成:占位符和单独传递到 .execute() 方法以便数据库干净处理的值。 sqlite3 库也不异常(exception)，请参阅 cursor.execute() method for details 。对于您的情况，您可以使用命名占位符:

columns = [f'''"{name.replace('"', '""')}"''' for name in meta_data]
placeholders = [f':{name}' for name in meta_data]
sql = f'INSERT INTO Files ({", ".join(columns)}) VALUES ({", ".join(placeholders)})'    
cur.execute(sql, meta_data)

请注意，meta_data 作为第二个参数传递；数据库采用每个 :name 占位符，并从 meta_data 字典中获取该占位符的值。

我还正确格式化了列名称，方法是在列名称两边加上双引号并将名称中的任何 " 字符加倍；请参阅 SQLite keyword documentation :

'keyword'       A keyword in single quotes is a string literal.
"keyword"       A keyword in double-quotes is an identifier.

您的代码已对这些列名称进行硬编码，并且它们都不是保留的 SQL 关键字，因此它们并不真正需要这种保护，但这仍然是很好的做法。

对于您的代码，其中 meta_data 具有固定数量的键，上面构建了此 sql 字符串:

>>> columns = [f'''"{name.replace('"', '""')}"''' for name in meta_data]
>>> placeholders = [f':{name}' for name in meta_data]
>>> sql = f'INSERT INTO Files ({", ".join(columns)}) VALUES ({", ".join(placeholders)})'
>>> from pprint import pprint
>>> pprint(sql)
('INSERT INTO Files ("file_name", "file_path", "extension", "mode", "inode", '
 '"file_size", "atime", "mtime", "ctime") VALUES (:file_name, :file_path, '
 ':extension, :mode, :inode, :file_size, :atime, :mtime, :ctime)')

我还会更改记录错误的方式，而不是

logging.error('Could not gather data for file: ' + meta_data['file_path'] + e.__str__())

我会用

logging.exception('Could not gather data for file: %s', meta_data['file_path'])

并将错误收集留给日志框架。即使您确实包含异常对象，也请使用 str(e) 或 %s 占位符。