gpt4 book ai didi

python - 向量化 pandas.DataFrame 的整合

转载 作者:太空狗 更新时间:2023-10-29 21:49:21 27 4
gpt4 key购买 nike

我有一个力-位移数据的 DataFrame。位移数组已设置为 DataFrame 索引,列是我针对不同测试的各种力曲线。

如何计算完成的功(即“曲线下的面积”)?

我看了numpy.trapz这似乎可以满足我的需要,但我认为我可以避免像这样循环遍历每一列:

import numpy as np
import pandas as pd

forces = pd.read_csv(...)
work_done = {}

for col in forces.columns:
work_done[col] = np.trapz(forces.loc[col], forces.index))

我希望创建一个新的曲线下区域的 DataFrame 而不是 dict,并认为 DataFrame.apply() 或一些可能合适但不知道从哪里开始寻找的内容。

简而言之:

  1. 我可以避免循环吗?
  2. 我可以为直接完成的工作创建一个DataFrame吗?

在此先感谢您的帮助。

最佳答案

您可以通过将整个 DataFrame 传递给 np.trapz 来对其进行矢量化并指定 axis= 参数,例如:

import numpy as np
import pandas as pd

# some random input data
gen = np.random.RandomState(0)
x = gen.randn(100, 10)
names = [chr(97 + i) for i in range(10)]
forces = pd.DataFrame(x, columns=names)

# vectorized version
wrk = np.trapz(forces, x=forces.index, axis=0)
work_done = pd.DataFrame(wrk[None, :], columns=forces.columns)

# non-vectorized version for comparison
work_done2 = {}
for col in forces.columns:
work_done2.update({col:np.trapz(forces.loc[:, col], forces.index)})

这些给出了以下输出:

from pprint import pprint

pprint(work_done.T)
# 0
# a -24.331560
# b -10.347663
# c 4.662212
# d -12.536040
# e -10.276861
# f 3.406740
# g -3.712674
# h -9.508454
# i -1.044931
# j 15.165782

pprint(work_done2)
# {'a': -24.331559643023006,
# 'b': -10.347663159421426,
# 'c': 4.6622123535050459,
# 'd': -12.536039649161403,
# 'e': -10.276861220217308,
# 'f': 3.4067399176289994,
# 'g': -3.7126739591045541,
# 'h': -9.5084536839888187,
# 'i': -1.0449311137294459,
# 'j': 15.165781517623724}

您的原始示例还有其他几个问题。 col 是列名而不是行索引,因此它需要索引数据框的第二个维度(即 .loc[:, col] 而不是 .loc[列])。此外,您在最后一行有一个额外的尾随括号。


编辑:

可以还可以通过.apply 直接生成输出DataFramenp.trapz 添加到每一列,例如:

work_done = forces.apply(np.trapz, axis=0, args=(forces.index,))

但是,这并不是真正的“正确”矢量化 - 您仍然在每一列上分别调用 np.trapz。您可以通过比较 .apply 版本与直接调用 np.trapz 的速度来看到这一点:

In [1]: %timeit forces.apply(np.trapz, axis=0, args=(forces.index,))
1000 loops, best of 3: 582 µs per loop

In [2]: %timeit np.trapz(forces, x=forces.index, axis=0)
The slowest run took 6.04 times longer than the fastest. This could mean that an
intermediate result is being cached
10000 loops, best of 3: 53.4 µs per loop

这不是一个完全公平的比较,因为第二个版本排除了从输出 numpy 数组构造 DataFrame 所花费的额外时间,但这应该仍然小于所花费时间的差异执行实际集成。

关于python - 向量化 pandas.DataFrame 的整合,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34548681/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com