个人中心
文章发布
退出
作者热门文章
- VisualStudio2022插件的安装及使用-编程手把手系列文章
- pprof-在现网场景怎么用
- C#实现的下拉多选框，下拉多选树，多级节点
- 【学习笔记】基础数据结构：猫树
58
4
本文完整代码及附件已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 。
大家好我是费老师，今天要给大家介绍的Python框架叫做ibis，没错，跟著名连锁酒店宜必思同名，其作者是创造了pandas、Arrow等著名框架的Wes McKinney.
ibis的核心理念是用同一套数据框操作API，统一操纵各种主流的数据运算框架，使得用户可以更轻松更一致的构建自己的数据分析处理过程，而不是囿于不同框架之间千差万别的用法，下面我们就来一起学习其基础用法😉~ 。
为了方便演示，我们这里使用conda或mamba创建新的虚拟环境，来安装试用ibis，以mamba为例，在终端中执行下列命令，完成演示用虚拟环境的创建及激活，并安装ibis最基础的相关模块+示例数据集模块:
mamba create -n ibis-demo python=3.9 -y
mamba activate ibis-demo
pip install ibis-framework[duckdb,examples]
验证是否安装成功:
python -c "import ibis;print(ibis.__version__)"
可以看到，我们完成了对ibis的安装，当前版本为9.0.0:
ibis本身不直接执行分析计算，当我们针对目标数据编写好对应计算逻辑的ibis代码后，实际执行时其底层会将计算逻辑自动转换到当前的计算后端中。目前ibis支持超过20种计算后端，均为当前单机分析、分布式分析领域的主流框架:
这使得基于ibis构建的数据分析工作流，可以在不修改代码的情况下，轻松扩展应用于任意的计算后端.
譬如，ibis默认使用DuckDB作为后端进行单机分析运算，你可以在本机上使用部分数据构建并验证业务分析逻辑后，再套用相同的代码，切换计算后端到诸如ClickHouse上执行分布式运算，这一特性也是ibis便携性的体现.
举个简单的例子，首先我们基于pandas生成具有一千万行记录的示例数据并导出为parquet格式:
import numpy as np
import pandas as pd
# 生成测试用数据并导出为parquet格式
(
pd
.DataFrame(
{
'类别': np.random.choice(list('abcdef'), 10000000),
'数值': np.random.uniform(0, 100, 10000000)
}
)
.assign(数值=lambda df: df['数值'].round(3))
.to_parquet('demo.parquet')
)
接下来我们先使用默认的DuckDB后端，在ibis中执行一些示例运算，注意其运算耗时:
接着，我们切换计算后端为pandas，执行完全一样的计算代码，可以看到计算耗时陡增，毕竟pandas处理上千万行数据性能要远逊于DuckDB，这个例子体现出ibis强大的代码便携性:
ibis中另一个非常强大的功能，是其可以充分结合Python代码和SQL代码来开展分析工作，譬如，你可以将ibis分析代码直接转换为SQL语句:
也可以直接执行SQL语句开展分析:
这使得ibis可以充分联结各类最先进的计算后端，帮助分析师轻松维护业务分析逻辑.
无论你原先在使用pandas、SQL还是R进行数据分析，ibis官网文档中都提供了非常友好的使用指南，确保你可以无痛的迁移使用ibis:
ibis正处于高速迭代发展阶段，其代码仓库几乎每天都在进行新的提交活动，欢迎进行⭐支持：https://github.com/ibis-project/ibis 。
更多相关内容，请移步其官网学习更多：https://ibis-project.org/ 。
以上就是本文的全部内容，欢迎在评论区与我们进行讨论~ 。
最后此篇关于（数据科学学习手札163）ibis：极具潜力的Python数据分析框架的文章就讲到这里了,如果你想了解更多关于（数据科学学习手札163）ibis：极具潜力的Python数据分析框架的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
58
4
0
1.摘要 在数据可视化、统计绘图和图表生成领域，Python 被广泛使用，其中 Matplotlib 是一个极其重要的基础三方库。本博客旨在介绍 Python 及其三方库 Matplotlib
为什么要学习pandas？ numpy已经可以帮助我们进行数据的处理了，那么学习pandas的目的是什么呢？ numpy能够帮助我们处理的是数值型的数据，当然在数据分析中除了数
0. 数据说明 本项目所用数据集包含了一个家庭6个月的用电数据，收集于2007年1月至2007年6月。 这些数据包括有功功率、无功功率、电压、电流强度、分项计量1（厨房）、分项计量2（洗衣房
由于我现在不知道自己在做什么，所以我的措辞听起来很有趣。但是说真的，我需要学习。 我面临的问题是提出一种方法（模型）来估计软件程序的工作方式：即运行时间和最大内存使用量。我已经拥有了大量数据。此数据集
我在 PostgreSQL 中有一个表，其结构和数据如下: Question | Answer | Responses ------------------------------
numbers = LabelEncoder() State_Data['Quality'] = numbers.fit_transform(State_Data['Quality Paramet
我一直在尝试解决这个问题: 我有一组数据点，对应于一组时间值。即 values =[1,2,3,4,5,6,7,8,4] times = [0.1,0.2,0.3,0.4]... 等等，这是一个示例速
哔哔一下 雪中悍刀行兄弟们都看过了吗？感觉看了个寂寞，但又感觉还行，原谅我没看过原著小说~ 豆瓣评分5.8，说明我还是没说错它的。 当然，这并不妨碍它波播放量嘎嘎上涨，半个月25亿播放，平均一集一个亿
在 Pandas 中是否有任何可重用的数据分析代码，可以在 html 输出中给出结果。 我已经尝试过来自以下链接的命令，但没有一个输出是 html 格式。 https://kite.com/blog/
吴京近年拍的影视都是非常富有国家情怀的，大人小孩都爱看，每次都是票房新高，最新的长津湖两部曲大家都有看吗，第一步还可以，第二部水门桥也不差，截止目前已经36.72亿票房。 某眼评分9.6，某瓣评分7.
我有一个 .csv 文件，其中包含来自 eBay 拍卖的以下数据: auctionid - 拍卖的唯一标识符 bidtime - 出价的时间(以天为单位)，从拍卖开始 投标人 - 投标人的 eBay
目录 1、爬虫 1.1 爬取目标 1.2 分析页面 1.3 爬虫代码 1.4 结果数据
我是 pyspark 的新手，我有这个示例数据集: Ticker_Modelo Ticker Type Period Product Geography Source Unit
我是一名优秀的程序员,十分优秀！