python - 如何使用 joblib.Parallel() 并行化其中包含 "continue"的循环？

Question

假设我有一个仅在满足某些条件时才“输出”的循环:

output = []
for item in some_list:
    if condition(item):
        res = do_something(item)
        output.append(res)

由于内存限制，我不能用 None-s 填充 output 列表，所以我不能写:

joblib.Parallel(n_jobs=n)(joblib.delayed(do_something)(item) for item in some_list)

是否有一种快速合理的方法来使 Parallel 生成的输出列表不包含冗余的 None-s？

编辑

我忘了澄清一下，检查 condition(item) 和实际的 do_something(item) 总计花费的时间太长，所以我试图将两者并行化。

Answer 1

Q : "Is there a fast and reasonable way to make the list of outputs generated by Parallel not to include the redundant None-s?"

是的。

根据需要定义for item-generator 部分:

joblib.Parallel( n_jobs = n )( joblib.delayed( do_something )( item )
                                                           for item in some_list
                                                 if condition( item )
                               )