- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
冒着有点跑题的风险,我想展示一个简单的解决方案,用于在 dask 数据框中加载大型 csv 文件,其中可以应用选项 sorted=True 并节省大量处理时间。
我发现在 dask 中执行 set_index 的选项对于我用于学习的玩具集群的大小和文件大小 (33GB) 不可行。
因此,如果您的问题是将大型未排序的 CSV 文件(数十 GB)加载到 dask 数据框中并快速开始执行 groupbys,我的建议是预先使用 unix 命令“sort”对它们进行排序。
排序处理需求可以忽略不计,它不会使您的 RAM 限制超出无法管理的限制。您可以定义要运行/排序的并行进程的数量以及用作缓冲区的 ram。就您的磁盘空间而言,这太棒了。
这里的技巧是在发出命令之前在您的环境中导出 LC_ALL=C。无论哪种方式,pandas/dask 排序和 unix 排序都会产生不同的结果。
这是我用过的代码
export LC_ALL=C
zcat BigFat.csv.gz |
fgrep -v ( have headers?? take them away)|
sort -key=1,1 -t "," ( fancy multi field sorting/index ? -key=3,3 -key=4,4)|
split -l 10000000 ( partitions ??)
结果准备好了
ddf=dd.read_csv(.....)
ddf.set_index(ddf.mykey,sorted=True)
希望对你有帮助
JC
最佳答案
正如上面所讨论的,我只是将其发布为我的问题的解决方案。希望对他人有用。
我并不是说这是最好的、最有效的或更 pythonic 的! :-)
关于python - 来自大型无序 csv 文件的 dask set_index,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46971219/
设置: np.random.seed(0) iix = pd.MultiIndex.from_product([['bar', 'baz', 'foo'],['one', 'two']]) df =
我有一个这样开头的 CSV 文件: Year,Boys,Girls 1996,333490,315995 1997,329577,313518 1998,325903,309998 当我将它读入 pa
我在 Julia 数据帧的 python 中寻找类似 .set_index() 的函数。 我搜索并发现 NamedArray 可以给出与 Python 中的 .set_index() 类似的结果,如下
我正在尝试从我的数据框中的列之一设置数据框的索引。这个数据框的旧索引本质上是没有意义的。 但是当我使用 set_index(['Name']) 时,我添加了一个新列,这不是我想要的行为。我找不到解决方
我有一个数据帧数据。分组并重置索引后,我无法将日期列设置为索引。 data = data.groupby('Payment Date ') data['Payment Amount '].sum().
我有一个从 HDFS 上的 parquet 文件创建的 dask 数据框。使用 api: set_index 创 build 置索引时,它失败并出现以下错误。 File "/ebs/d1/agent/
我找不到在 Pandas 0.14 中查找多重索引的方法。这是我遇到问题的一些模拟数据。 代码: row1 = ['red', 'ferrari', 'mine'] row2 = ['blue', '
我有一个看起来像这样的数据框(索引未显示) Time Letter Type Value 0 A x 10 0 B y
从上面,你可以看到我已经将索引设置为“index”。我的期望是能够使用“索引”列来删除行,并且仅使用“Barangay”列作为功能而不是数据框的索引。 如上所示,仍然使用“Barangay”列作为引用
我想用 df.set_index() 函数更改我的 DataFrame 索引列。虽然这提供了一个功能解决方案,但它创建了一个我想摆脱的“额外”行。 df = pd.DataFrame({'A': ['
我有很多大约这种类型的 DataFrame: import pandas as pd import numpy as np x1 = pd.DataFrame(np.vstack((np.random
我有一个如下所示的数据框: Priority RID_solve Prob RID_prob Remarks 0 1 5001 34
我有以下数据框: df = pd.DataFrame({ 'Trader': 'Carl Mark Carl Joe Joe Carl Joe Carl'.split(), 'Product': li
我在我的数据框上运行以下代码函数: del dfname["Unnamed: 0"] dfname["date"] = pd.to_datetime(dfname["date"]) dfname.se
在 Pandas 中,如果我有一个如下所示的 DataFrame: 0 1 2 3 4 5 6 0
我有一个数据框,正在尝试将索引设置为“时间戳”列。目前索引只是一个行号。时间戳格式的一个例子是:2015-09-03 16:35:00 我试过设置索引: df.set_index('Timestamp
假设我创建了一个带有两列的 pandas DataFrame,b(一个 DateTime)和 c(一个整数)。现在我想从第一列 (b) 中的值创建一个 DatetimeIndex: import pa
我有一个看起来像 like this 的数据框: 我想将 'TIME_STAMP_NEW' 列作为索引。当前代码: twoweektable['TIME_STAMP_NEW'] = pd.to_dat
data = [['g1','a',1],['g1','b',2],['g2','b',3],['g2','a',4]] df = pandas.DataFrame(data=data, column
我正在尝试调用 df.set_index,使我设置索引的列的 dtype 是新的 index.dtype。不幸的是,在下面的示例中,set_index 更改了 dtype。 df = pd.DataF
我是一名优秀的程序员,十分优秀!