个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
25
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章Pandas加速代码之避免使用for循环由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
使用pandas dataframe执行数千甚至数百万次计算仍然是一项挑战。你不能简单的将数据丢进去，编写python for循环，然后希望在合理的时间内处理数据.
pandas是为一次性处理整个行或列的矢量化操作而设计的，循环遍历每个单元格、行或列并不是它的设计用途。所以，在使用pandas时，你应该考虑高度可并行化的矩阵运算.
本文将教你如何使用pandas设计使用的方式，并根据矩阵运算进行思考。在此过程中，我们将向你展示一些实用的节省时间的技巧和窍门，这些技巧和技巧将使你的pandas代码比那些可怕的python for循环更快地运行！ 。
在本文中，我们将使用经典的鸢尾花数据集.
现在让我们建立一个标准线，用python for循环来测量我们的速度。我们将通过循环遍历每一行来设置要在数据集上执行的计算，然后测量整个操作的速度。这将为我们提供一个基准，以了解我们的新优化对我们有多大帮助.
在上面的代码中，我们创建了一个基本函数，它使用if-else语句根据花瓣的长度选择花的类。我们编写了一个for循环，通过循环dataframe对每一行应用函数，然后测量循环的总时间.
在i7-8700k计算机上，循环运行5次平均需要0.01345秒.
我们可以做的最简单但非常有价值的加速是使用pandas的内置 .iterrows() 函数.
在上一节中编写for循环时，我们使用了 range() 函数。然而，当我们在python中对大范围的值进行循环时，生成器往往要快得多.
pandas的 .iterrows() 函数在内部实现了一个生成器函数，该函数将在每次迭代中生成一行dataframe。更准确地说，.iterrows() 为dataframe中的每一行生成(index, series)的对（元组）。这实际上与在原始python中使用 enumerate() 之类的东西是一样的，但运行速度要快得多！ 。
生成器（generators） 。
生成器函数允许你声明一个行为类似迭代器的函数，也就是说，它可以在for循环中使用。这大大简化了代码，并且比简单的for循环更节省内存.
考虑这样一个例子，我们想把1到1000之间的所有数字加起来。下面代码的第一部分说明了如何使用for循环来实现这一点.
如果列表很小，比如长度为1000，那就很好了。当你想要处理一个庞大的列表时，比如10亿个浮点数，问题就出现了。使用for循环，在内存中创建了大量的内存huge列表，并不是每个人都有无限的ram来存储这样的东西！python中的range()函数也做同样的事情，它在内存中构建列表 。
代码的第(2)节演示了使用python生成器对数字列表求和。生成器将创建元素并仅在需要时将它们存储在内存中。一次一个。这意味着，如果必须创建10亿个浮点数，那么只能一次将它们存储在内存中。python中的xrange()函数使用生成器来构建列表.
也就是说，如果你想多次迭代列表并且它足够小以适应内存，那么使用for循环和range函数会更好。这是因为每次访问list值时，生成器和xrange都会重新生成它们，而range是一个静态列表，并且内存中已存在整数以便快速访问.
下面我们修改了代码，使用.iterrows()代替常规的for循环。在我上一节测试所用的同一台机器上，平均运行时间为0.005892秒，速度提高了2.28倍！ 。
iterrows()函数极大地提高了速度，但我们还远远没有完成。请始终记住，当使用为向量操作设计的库时，可能有一种方法可以在完全没有for循环的情况下最高效地完成任务.
为我们提供此功能的pandas功能是 .apply() 函数。apply()函数接受另一个函数作为输入，并沿着dataframe的轴（行、列等）应用它。在传递函数的这种情况下，lambda通常可以方便地将所有内容打包在一起.
在下面的代码中，我们已经完全用.apply()和lambda函数替换了for循环，打包所需的计算。这段代码的平均运行时间是0.0020897秒，比原来的for循环快6.44倍.
apply()之所以快得多，是因为它在内部尝试遍历cython迭代器。如果你的函数针对cython进行了优化，.apply()将使你的速度更快。额外的好处是，使用内置函数可以生成更干净、更可读的代码！ 。
前面我们提到过，如果你正在使用一个为向量化操作设计的库，你应该总是在没有for循环的情况下寻找一种方法来进行任何计算.
类似地，以这种方式设计的许多库，包括pandas，都将具有方便的内置函数，可以执行你正在寻找的精确计算，但速度更快.
pandas的 .cut() 函数将一组bin定义为输入，这些bin定义了if-else的每个范围和一组标签。这与我们用 compute_class() 函数手动编写有完全相同的操作.
看下面的代码，看看.cut()是如何工作的。我们又一次得到了更干净、更可读的代码。最后，.cut()函数平均运行0.001423秒，比原来的for循环快了9.39倍.
好了，到此这篇关于pandas加速代码之避免使用for循环的文章就介绍到这了,更多相关pandas for循环内容请搜索我以前的文章或继续浏览下面的相关文章希望大家以后多多支持我！ 。
原文链接：https://mp.weixin.qq.com/s/ebRQMJI9sB7wNI_NYdmTAw 。
最后此篇关于Pandas加速代码之避免使用for循环的文章就讲到这里了,如果你想了解更多关于Pandas加速代码之避免使用for循环的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
25
4
0
我是 PHP 新手。我一直在脚本中使用 for 循环、while 循环、foreach 循环。我想知道 哪个性能更好？ 选择循环的标准是什么？ 当我们在另一个循环中循环时应该使用哪个？ 我一直想知道要
我在高中的编程课上，我的作业是制作一个基本的小计和顶级计算器，但我在一家餐馆工作，所以制作一个只能让你在一种食物中读到。因此，我尝试让它能够接收多种食品并将它们添加到一个价格变量中。抱歉，如果某些代码
这是我正在学习的一本教科书。 var ingredients = ["eggs", "milk", "flour", "sugar", "baking soda", "baking powder",
我正在从字符串中提取数字并将其传递给函数。我想给它加 1，然后返回字符串，同时保留前导零。我可以使用 while 循环来完成此操作，但不能使用 for 循环。 for 循环只是跳过零。 var add
编辑:我已经在程序的输出中进行了编辑。 该程序要求估计给定值 mu。用户给出一个值 mu，同时还提供了四个不等于 1 的不同数字(称为 w、x、y、z)。然后，程序尝试使用 de Jaeger 公式找
我正在编写一个算法，该算法对一个整数数组从末尾到开头执行一个大循环，其中包含一个 if 条件。第一次条件为假时，循环可以终止。 因此，对于 for 循环，如果条件为假，它会继续迭代并进行简单的变量更改
现在我已经习惯了在内存非常有限的情况下进行编程，但我没有答案的一个问题是:哪个内存效率更高；- for(;;) 或 while() ？还是它们可以平等互换？如果有的话，还要对效率问题发表评论! 最佳答
这个问题已经有答案了: How do I compare strings in Java? (23 个回答) 已关闭 8 年前。 我正在尝试创建一个小程序，我可以在其中读取该程序的单词。如果单词有 6
这个问题在这里已经有了答案: python : list index out of range error while iteratively popping elements (12 个答案) 关
我正在尝试向用户请求 4 到 10 之间的整数。如果他们回答超出该范围，它将进入循环。当用户第一次正确输入数字时，它不会中断并继续执行 else 语句。如果用户在 else 语句中正确输入数字，它将正
我尝试创建一个带有嵌套 foreach 循环的列表。第一个循环是循环一些数字，第二个循环是循环日期。我想给一个日期写一个数字。所以还有另一个功能来检查它。但结果是数字多次写入日期。 Out 是这样的:
我想要做的事情是使用循环创建一个数组，然后在另一个类中调用该数组，这不会做，也可能永远不会做。解决这个问题最好的方法是什么？我已经寻找了所有解决方案，但它们无法编译。感谢您的帮助。 import ja
我尝试创建一个带有嵌套 foreach 循环的列表。第一个循环是循环一些数字，第二个循环是循环日期。我想给一个日期写一个数字。所以还有另一个功能来检查它。但结果是数字多次写入日期。 Out 是这样的:
我正在模拟一家快餐店三个多小时。这三个小时分为 18 个间隔，每个间隔 600 秒。每个间隔都会输出有关这 600 秒内发生的情况的统计信息。 我原来的结构是这样的: int i; for (i=0;
这个问题已经有答案了: IE8 for...in enumerator (3 个回答) How do I check if an object has a specific property in J
哪个对性能更好？这可能与其他编程语言不一致，所以如果它们不同，或者如果你能用你对特定语言的知识回答我的问题，请解释。 我将使用 c++ 作为示例，但我想知道它在 java、c 或任何其他主流语言中的工
这个问题不太可能帮助任何 future 的访问者；它只与一个小的地理区域、一个特定的时间点或一个非常狭窄的情况有关，这些情况并不普遍适用于互联网的全局受众。为了帮助使这个问题更广泛地适用，visit
我是 C 编程和编写代码的新手，以确定 M 测试用例的质因数分解。如果我一次只扫描一次，该功能本身就可以工作，但是当我尝试执行 M 次时却惨遭失败。 我不知道为什么 scanf() 循环有问题。 in
这个问题已经有答案了: JavaScript by reference vs. by value [duplicate] (4 个回答) 已关闭 3 年前。 我在使用 TSlint 时遇到问题，并且理
我尝试在下面的代码中添加 foreach 或 for 循环，以便为 Charts.js 创建多个数据集。这将允许我在此折线图上创建多条线。 我有一个 PHP 对象，我可以对其进行编码以稍后填充变量，但
我是一名优秀的程序员,十分优秀！