个人中心
文章发布
退出
作者热门文章
- Java锁的逻辑（结合对象头和ObjectMonitor）
- 还在用饼状图？来瞧瞧这些炫酷的百分比可视化新图形（附代码实现）⛵
- 自动注册实体类到EntityFrameworkCore上下文，并适配ABP及ABPVNext
- 基于Sklearn机器学习代码实战
26
4
本文示例代码已上传至我的 Github 仓库 https://github.com/CNFeffery/DataScienceStudyNotes 。
大家好我是费老师，前两天 pandas 正式发布了其 2.0.0 版本，作为一次大版本更新， pandas 针对底层进行了大量的重构以优化性能和稳定性，其有关这次更新内容的说明文档更是洋洋洒洒非常繁杂.
我们作为日常使用 pandas 的用户，并不需要了解过多底层更新内容，只需要学习如何使用新版 pandas 为自己提质提效就行，今天的文章话不多说，直接带大家速通新版 pandas 干货内容😎.
为了下文中方便进行演示，我们创建新的虚拟环境来测试新版 pandas 性能表现:
conda create -n pandas2.0-test python=3.8 -y
conda activate pandas2.0-test
pip install pandas pyarrow jupyterlab
我们对新版 pandas 的最大期待就是1个字——快，因为经过15年的发展， pandas 的分析功能已经相当丰富，API语法也足够简单高效，但在处理较大型数据集时的速度和内存占用属实捉急.
因此新版 pandas 引入了基于高性能运算库 arrow 的一系列常用数据类型，作为对默认基于 numpy 的数据类型的代替.
我们测试使用到的数据集来自（ https://www.kaggle.com/datasets/kartik2112/fraud-detection ），针对其中的 fraudTrain.csv 文件进行读取，这个文件大小为三百多兆，我们分别采用3种不同的方式进行读取:
可以看到，新版 pandas 中最优的参数组合，足足比默认的参数快了将近20倍🚀，查看使用 pyarrow 数据类型后端读入的数据框，可以发现类型都已经切换到 pyarrow 的常用类型:
得益于新的数据类型支持，很多常用的运算操作都要比默认情况下快上很多，其中数值型运算提升幅度很小，但是针对字符型的提升幅度相当大，如下面例子中的 startswith() 判断就快了接近50倍:
“修改时复制”作为一种优化机制，在 1.5 版本中开始引入 pandas ，并在 2.0 中对 pandas 中大多数运算操作进行了支持，且很有可能在 3.0 版本中作为默认的策略.
一言以蔽之，“修改时复制”机制就是一种惰性复制机制，可以帮助我们在运算过程中自动避免很多不必要的数据复制操作，下面我们来看一些例子:
在默认情况下，如果我们像下面这样将 df 的 field1 列直接赋值给了 field1 ，再对 field1 中的值进行修改，就会导致原先的 df 中的对应值也被修改了，这种机制本意是避免赋值时频繁的数据复制占用内存，但很容易让我们不小心篡改了原始数据:
而“修改时复制”机制，则会在频繁复制数据，和避免篡改数据之间进行兼顾（当前版本需要设置全局参数 mode.copy_on_write 为 True 以启用）:
也就是说，新版 pandas 中的“修改时复制”机制，会自动检测从源数据中衍生出的数据自身是否发生了值修改，并在修改时才进行数据复制操作，保证了分析过程的高效性和稳定性😋.
除了上述介绍的内容外，新版 pandas 还进行了大量的性能优化更新，这些更新无需我们改变过去的 pandas 写法，而是在我们的日常使用过程中”润物细无声“地帮我们节省了计算开销，可以说，作为 pandas 老用户，切换到 2.0 版本的过程是无痛且丝滑的😀，大家可以放心地进行更新，更多更新内容细节请移步 https://pandas.pydata.org/docs/whatsnew/v2.0.0.html .
以上就是本文的全部内容，欢迎在评论区与我进行讨论~ 。
。
最后此篇关于（数据科学学习手札151）速通pandas2.0新版本干货内容的文章就讲到这里了,如果你想了解更多关于（数据科学学习手札151）速通pandas2.0新版本干货内容的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
26
4
0
pandas.crosstab 和 Pandas 数据透视表似乎都提供了完全相同的功能。有什么不同吗？ 最佳答案 pivot_table没有 normalize争论，不幸的是。 在 crosstab
我能找到的最接近的答案似乎太复杂:How I can create an interval column in pandas? 如果我有一个如下所示的 pandas 数据框: +-------+ |
这是我用来将某一行的一列值移动到同一行的另一列的当前代码: #Move 2014/15 column ValB to column ValA df.loc[(df.Survey_year == 201
我有一个以下格式的 Pandas 数据框: df = pd.DataFrame({'a' : [0,1,2,3,4,5,6], 'b' : [-0.5, 0.0, 1.0, 1.2, 1.4,
所以我有这两个数据框，我想得到一个新的数据框，它由两个数据框的行的克罗内克积组成。正确的做法是什么？ 举个例子:数据框1 c1 c2 0 10 100 1 11 110 2 12
TL;DR:在 pandas 中，如何绘制条形图以使其 x 轴刻度标签看起来像折线图？ 我制作了一个间隔均匀的时间序列(每天一个项目)，并且可以像这样很好地绘制它: intensity[350:450
我有以下两个时间列，“Time1”和“Time2”。我必须计算 Pandas 中的“差异”列，即 (Time2-Time1): Time1 Time2
从这个 df 去的正确方法是什么: >>> df=pd.DataFrame({'a':['jeff','bob','jill'], 'b':['bob','jeff','mike']}) >>> df
我想按周从 Pandas 框架中的列中累积计算唯一值。例如，假设我有这样的数据: df = pd.DataFrame({'user_id':[1,1,1,2,2,2],'week':[1,1,2,1,
数据透视表的表示形式看起来不像我在寻找的东西，更具体地说，结果行的顺序。 我不知道如何以正确的方式进行更改。 df示例: test_df = pd.DataFrame({'name':['name_1
我有一个数据框，如下所示。 Category Actual Predicted 1 1 1 1 0
我有一个 df，如下所示。 df: ID open_date limit 1 2020-06-03 100 1 2020-06-23 500
我有一个 df ，其中包含与唯一值关联的各种字符串。对于这些唯一值，我想删除不等于单独列表的行，最后一行除外。 下面使用 Label 中的各种字符串值与 Item 相关联.所以对于每个唯一的 Item
考虑以下具有相同名称的列的数据框（显然，这确实发生了，目前我有一个像这样的数据集！:(） >>> df = pd.DataFrame({"a":range(10,15),"b":range(5,10)
我在 Pandas 中有一个 DF，它看起来像: Letters Numbers A 1 A 3 A 2 A 1 B 1 B 2
如何减去两列之间的时间并将其转换为分钟 Date Time Ordered Time Delivered 0 1/11/19 9:25:00 am 10:58:00 am
我试图理解 pandas 中的下/上百分位数计算，但有点困惑。这是它的示例代码和输出。 test = pd.Series([7, 15, 36, 39, 40, 41]) test.describe(
我有一个多索引数据框，如下所示: TQ bought HT Detailed Instru
我需要从包含值“低”，“中”或“高”的数据框列创建直方图。当我尝试执行通常的df.column.hist（）时，出现以下错误。 ex3.Severity.value_counts() Out[85]:
我试图根据另一列的长度对一列进行子串，但结果集是 NaN .我究竟做错了什么？ import pandas as pd df = pd.DataFrame([['abcdefghi','xyz'],
我是一名优秀的程序员,十分优秀！