python - 评估在命令行上传递的公式

Question

我有一个小的(ish)Python脚本，我用它来绘制csv分隔数据，使用matplotlib和pandas(CSV被读入pandas数据帧)。基本上是重新发明了一个糟糕的 gnuplot 版本。

绘制进程 makes_csv 在 stdout 上发出的 csv 数据的典型调用如下:

makes_csv | plot.py --cols 1 3

这意味着“根据第 0 列(标题来自输入数据)绘制输入的第 1 列和第 3 列，作为单独的系列”。

现在，我想添加绘制派生列的功能，该列是引用一个或多个现有列的公式。例如，我可能会写这样的内容:

... | plot.py --formula-cols 'foo=col(1)/col(3)*100'

这意味着:绘制第 1 列中的值除以第 3 列中的相应值乘以 100 的(每个元素)结果，并将该系列称为“foo”。

我不需要上面的确切语法 - 我想要的主要是基本的数学函数和引用列的能力。我不想重新发明轮子解析公式或使用第三方公式解析:我想使用一些Python native 方式。

我不担心安全性 - 如果恶意公式可以删除我的硬盘或破坏我的信用，我对此表示同意:我自己输入这些公式并且不关心沙箱。

Answer 1

答案可能涉及内置函数 eval() 和/或 exec()。但如果不知道“plot.py”如何工作，就很难更具体地回答。例如，您的示例表达式需要能够创建一个新列“Foo”。它还需要访问当前的列，但我们不知道这些列是如何存储在plot.py中的？

以下是一种方法的要点:

# csv data stored in a list of rows
data = [
    [1, 2, 3],
    [2, 4, 6],
    [3, 6, 9]
]

# formula from the command line argument
formula = 'row[0]/row[2]*100'

source = f'''
for row in data:
    row.append({formula})
'''

exec(src)

source 是循环代码，该循环将公式的值附加到数据表中的每一行。 exec() 执行代码。如果没有其他参数，exec() 将使用当前作用域。因此，公式中的data指的是全局列表data，而row[0]指的是循环变量的第一个元素行。

修改此示例代码以使用plot.py中的数据结构作为读者的练习。

编辑:在检查 github 上的代码后添加了此内容。

因为plot.py 使用 pandas 来处理 csv 文件，所以这相当容易。只需在命令行中输入 pandas 公式并在脚本中使用 exec() 即可执行它。例如:

# example DataFrame
df = pd.DataFrame({
    'A':[1, 2, 3, 4],
    'B':[5, 6, 7, 8],
    'C':[9, 0, 1, 2]
})

# formula from the command line 
formula = "df['D'] = (df['A'] + df['C']) / df['B']"

# apply the formula
exec(formula)

# result
    A   B   C   e
0   1   5   9   2.000000
1   2   6   0   0.333333
2   3   7   1   0.571429
3   4   8   2   0.750000

注意:“公式”可以是任何有效的 python/pandas 代码。