python - 加速我的 python 代码的技巧

Question

我编写了一个 python 程序，需要为机器学习任务处理相当大的数据集。我有一个训练集(大约 600 万行)和一个测试集(大约 200 万行)。到目前为止，我的程序在一段合理的时间内运行，直到我到达代码的最后一部分。关键是我有自己的机器学习算法来进行预测，并将这些预测保存到一个列表中。但在我将预测写入文件之前，我需要做一件事。我的火车和测试集中有重复项。我需要在火车集中找到那些重复项并提取其相应的标签。为此，我创建了一个字典，将我的训练示例作为键，将标签作为值。之后，我创建了一个新列表并迭代了我的测试集和训练集。如果在我的训练集中可以找到我测试集中的示例，则将相应的标签附加到我的新列表中，否则，将我的预测附加到我的新列表中。

我用来实现上述问题的实际代码:

listed_predictions =  list(predictions)

    """"creating a dictionary"""
    train_dict = dict(izip(train,labels))


    result = []
    for sample in xrange(len(listed_predictions)):
        if test[sample] in train_dict.keys():
            result.append(train_dict[test[sample]])
        else:
            result.append(predictions[sample])

这个循环大约需要 200 万次迭代。我想到了 numpy 数组，因为它们应该比 python 列表更好地扩展，但我不知道如何使用 numpy 数组实现相同的效果。还考虑了其​​他优化解决方案，如 Cython，但在我深入研究之前，我希望我作为一个没有接受过正规计算教育的缺乏经验的程序员，没有看到一些容易实现的成果。

更新我已经实现了 thefourtheye 的解决方案，它使我的运行时间减少到大约 10 小时，这对于我想要实现的目标来说已经足够快了。大家好，谢谢大家的帮助和建议。

Answer 1

两个建议，

1. 要检查键是否在字典中，只需使用 in 和对象(这发生在 O(1) 中)

   if key in dict:
   

2. 尽可能使用推导式。

所以，你的代码就变成了这样

result = [train_dict.get(test[sample], predictions[sample]) for sample in xrange(len(listed_predictions))]