将连续步骤应用于可迭代的 Python 习惯用法

Question

在执行数据处理任务时，我经常发现自己将一系列组合、矢量化函数等应用于某些可迭代的数据输入以生成最终结果。理想情况下，我想要一些既适用于列表又适用于生成器的东西(除了任何其他可迭代对象之外)。我可以想到多种构建代码的方法来实现此目的，但我能想到的每种方法都有一种或多种让我感觉不干净/不惯用的方法。我在下面概述了我能想到的不同方法来执行此操作，但我的问题是 -是否有推荐的、惯用的方法来执行此操作？

我能想到的方法，用一个通常具有代表性的简单例子来说明:

将其写为一个大表达式

result = [sum(group) 
          for key, group in itertools.groupby(
              filter(lambda x: x <= 2, [x **2 for x in input]),
               keyfunc=lambda x: x % 3)]

对于任何不平凡的步骤序列来说，这通常很难阅读。在阅读代码时，我们还会遇到相反顺序的每一步。

将每个步骤保存到不同的变量名称中

squared = [x**2 for x in input]
filtered = filter(lambda x: x < 2, squared)
grouped = itertools.groupby(filtered, keyfunc=lambda x: x % 3)
result = [sum(group) for key, group in grouped]

这引入了许多通常很难描述性命名的局部变量；此外，如果某些或所有中间步骤的结果特别大，则保留它们可能会非常浪费内存。如果想在此过程中添加一个步骤，则必须注意所有变量名称都正确更新 - 例如，如果我们希望将每个数字除以二，我们将添加行 halved = [x/2.0 for x in Filtered]，但还必须记住在以下行中将 filtered 更改为 halfed。

将每个步骤存储到相同的变量名中

tmp = [x**2 for x in input]
tmp = filter(lambda x: x < 2, tmp)
tmp = itertools.groupby(tmp, keyfunc=lambda x: x % 3)
result = [sum(group) for key, group in tmp]

我想这对我来说似乎是这些选项中最不坏的一个，但是将东西存储在一个通用命名的占位符变量中对我来说感觉不符合Python风格，让我怀疑还有更好的方法。

Answer 1

代码审查通常是解决风格问题的更好地方。 SO更多的是为了解决问题。但 CR 可能对示例的完整性很挑剔。

但我可以观察到一些:

• 如果将此计算包装在函数中，命名并不是什么大问题。这些名称不必具有全局意义。

• 您的许多表达式都是生成器。 Itertools 倾向于生成生成器或 gen。表达式。因此内存使用应该不是什么大问题。

<小时/>

def better_name(input):
   squared = (x**2 for x in input)   # gen expression
   filtered = filter(lambda x: x < 2, squared)
   grouped = itertools.groupby(filtered, lambda x: x % 3)
   result = (sum(group) for key, group in grouped)
   return result

list(better_name(input))

使用def函数代替lambda也可以使代码更清晰。这是一个权衡。你的 lambda 足够简单，我可能会保留它们。

你的第二个选项比第一个选项更具可读性。表达的顺序指导着我的阅读和心理评估。在第一个中，很难识别最内部或第一个评估。 groupby 是一项复杂的操作，因此欢迎任何有关划分操作的帮助。

<小时/>

按照filter文档，这些是等效的:

filtered = filter(lambda x: x < 2, squared)
filtered = (x for x in squared if x<2)

我错过了返回。该函数可以返回一个生成器，如我所示，或一个评估列表。

groupby keyfunc 不是关键字参数，而是位置参数。

groupby 是一个复杂的函数。它返回一个生成元组的生成器，元组的元素本身就是生成器。返回此内容使其更加明显。

((key, list(group)) for key, group in grouped)

因此，需要一种能够阐明其用途的代码风格。