Python 快速字符串解析、操作

Question

我正在使用 python 解析传入的逗号分隔字符串。之后我想对数据进行一些计算。字符串的长度为:800 个字符，120 个逗号分隔字段。有 120 万个字符串需要处理。

for v in item.values():
         l.extend(get_fields(v.split(',')))  
#process l 

get_fields 使用 operator.itemgetter() 从 120 个字段中提取大约 20 个。

整个操作大约需要 4-5 分钟，不包括导入数据的时间。在程序的后面部分，我将这些行插入到 sqlite 内存表中以供进一步使用。但总的来说，仅仅解析和获取列表需要 4-5 分钟的时间对我的项目来说并不好。

我在大约 6-8 个线程中运行此处理。

切换到 C/C++ 可能有帮助吗？

Answer 1

你正在用你的文件记录加载字典吗？直接处理数据可能更好:

datafile = file("file_with_1point2million_records.dat")
# uncomment next to skip over a header record
# file.next()

l = sum(get_fields(v.split(',')) for v in file, [])

这避免了创建任何整体数据结构，并且仅累积 get_fields 返回的所需值。