python - 为什么 Pandas apply 比矢量化内置函数更快-6ren

python - 为什么 Pandas apply 比矢量化内置函数更快

转载作者：行者123 更新时间：2023-12-04 01:15:04

26

4

<分区>

我在练习vectorization with Pandas ，并且我发现了一个违反直觉的情况，当使用一系列内置向量化方法比应用一个朴素的 Python 函数(提取系列中所有数字的第一个数字)慢时:

import sys
import numpy as np
import pandas as pd

s = pd.Series(np.arange(100_000))

def first_digit(x):
    return int(str(x)[0])

s.astype(np.str).str[0].astype(np.int) # 218ms "built-in"
s.apply(first_digit)                   # 104ms "apply"
s.map(first_digit)                     # 104ms "map"
np.vectorize(first_digit)(s)           #  78ms "vectorized"

所有 4 个实现都产生相同的 Pandas 系列，我完全理解 vectorized 函数调用可能比每个元素 apply/map.

但是，我很困惑为什么使用 buil-in 方法速度较慢...虽然我也对实际答案感兴趣，但我更感兴趣的是什么是最小的我必须学习的一组工具才能评估我对性能的假设。

我的假设是方法调用链正在创建 2 个额外的中间 Pandas 系列，并且贪婪地评估这些系列的值，导致 CPU 缓存未命中(必须从 RAM 加载中间系列)。

按照该假设的步骤，我不知道如何确认或证伪:

中间系列/numpy 数组是贪婪还是惰性评估？
会不会导致 CPU 缓存未命中？
我还需要考虑哪些其他解释？

我的测量截图:

26

4

0

文章推荐： c# - Xamarin Forms - Java.Interop.lz4 访问被拒绝错误

文章推荐： logging - 网核 : manually create a Logger without using LoggerFactory

文章推荐： visual-studio-code - 在 VS Code 扩展中获取当前的 Highlight

文章推荐： python - 使用 Session.run 在 Tensorflow 代码中进行并行编程

JavaScript 函数 : Applying Apply
我被这种奇怪的事情难住了。假设我有这个数组: var array = [{ something: 'special' }, 'and', 'a', 'bunch', 'of', 'paramet
javascript - 为什么调用 Function.apply.bind(fn, null) 调用 `fn.apply` 而不是 `Function.apply` ？
假设我们有这样的代码: let fn1 = Function.apply.bind(Math.max, null); fn1([1, 10, 5]); // returns 10 我知道它是 ES6
javascript - Knockout.js 问题 : "h.apply is not a function. (In ' h. apply(e,r )', ' h.apply' 未定义)"
所以我尝试通过数据绑定(bind)调用我的 viewModel 原型(prototype)上的方法。我通过“单击”将两个不同的元素数据绑定(bind)到同一方法。当我单击第一个按钮(“新游戏”按钮)时
scala - 为什么我不能在Scala的this.apply(_)中省略 “apply”？
观察以下代码 trait Example { type O def apply(o: O) def f(o: O) = this.apply(o) } 在Scala中编译良好。我希望我可以
coq - 如何一起使用 'apply ... with'和 'apply ... in'？
我知道 apply f in H 可用于将假设应用于函数，并且我知道 apply f with a b c 可用于提供参数直接应用 f 时，它无法自行推断。是否可以以某种方式将两者结合使用？最佳答
Scala:尝试重载案例类 apply 方法时，apply 方法被定义了两次
这个问题已经有答案了: How to override apply in a case class companion (10 个回答) 已关闭 6 年前。我正在尝试重载案例类的 apply 方法:
grails - 如何从自定义Grails配置文件生成 “apply from”而不是 “apply plugin”？
我有一个自定义的Grails 4.x配置文件。我想为我的应用程序生成一个“apply from”条目。 apply from:"${rootProject.projectDir}/gradle/clo
javascript - this.constructor.apply 与 this.parent.apply
传统上对象继承如下所示: function Parent() { console.log('parent constructor'); } Parent.prototype.method = f
javascript - Function.prototype.apply.apply - 为什么调用它两次
今天在检查Jasmine 的源代码时here我偶然发现了以下内容: if (queueableFn.timeout) { timeoutId = Function.prototype.appl
javascript - 当新建一个包含 .apply 的函数时，.apply 如何工作？
据我所知，关键字new会使用this创建一个包含函数中定义的属性的对象。但我不知道如何应用使用 apply 将其他函数链接到该函数。并且创建的对象在这些函数中具有属性。有人能弄清楚代码中发生了什么吗
javascript - Apply {} 和 Apply {items :. ..} 之间的区别？
我一直在我的 InitComponent 中使用 Ext.Apply，就像这样 Ext.apply(that, { xtype: 'form', items: [.
git apply --reject 与 git apply --3way
我们有数百个存储库，并定期从上游接收补丁。作业应用这些补丁 git apply --check .如果没有错误，则应用补丁 git apply 并且更改已提交。如果有任何错误，补丁将标记为 conf
javascript - Function.apply 与 Function.prototype.apply
我最近通过调用 console.log.toString() 查看了 firebugs console.log 的代码并得到了这个: function () { return Function.app
angularjs - $scope.apply(); 之间的差异；和 $scope.apply(function(){});
拿这个代码: $scope.$apply(function(){ $scope.foo = 'test'; }); 对比这个: $scope.foo = 'test'; $scope.$app
sql - 与 `CROSS APPLY` 和 `OUTER APPLY` 不一致的行为
我在 Oracle-12c 中有一个类似于典型论坛的架构 accounts , posts , comments .我正在编写一个查询来获取... 一位用户该用户的所有帖子对每个帖子的评论以及每
angularjs - Angular $scope.$apply 与 $timeout 作为安全的 $apply
我试图更好地理解在 Angular 中使用 $timeout 服务作为一种“安全 $apply”方法的细微差别。基本上在一段代码可以运行以响应 Angular 事件或非 Angular 事件(例如 j
r - 批量预测；使用 apply() 函数而不是 for 循环。 apply() 函数给出不同点的预测
到目前为止，我使用的是 this当我有多个时间序列要预测时，我使用了 Hyndman 教授的方法。但是当我有大量的 ts 时它相当慢。现在我正在尝试使用 apply() 函数，如下所示 librar
python Pandas : can we avoid apply in this case of groupby/apply?
我听说过很多关于 pandas apply 很慢的说法，应该尽可能少用。我这里有个情况: df = pd.DataFrame({'Date': ['2019-01-02', '2019-01-03'
javascript - 在 apply 的重新声明中调用 Function.prototype.apply (Javascript)
在学习Javascript时，我尝试重新声明函数的apply属性。到目前为止没有问题。 function foo() { return 1; } alert(foo()); // 1 alert(fo
javascript - Apply.prototype.push.apply 与 forEach 对于嵌套数组？
所以我正在做 learnRx http://reactive-extensions.github.io/learnrx/我有一个关于制作 mergeAll() 函数的问题(问题 10)。这是我的答案

首页

博学

6Ren·AI

商城

python - 为什么 Pandas apply 比矢量化内置函数更快