- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
考虑以下数据框
import pandas as pd
import numpy as np
import pyarrow.parquet as pq
import pyarrow as pa
idx = pd.date_range('2017-01-01 12:00:00.000', '2017-03-01 12:00:00.000', freq = 'T')
dataframe = pd.DataFrame({'numeric_col' : np.random.rand(len(idx)),
'string_col' : pd.util.testing.rands_array(8,len(idx))},
index = idx)
dataframe
Out[30]:
numeric_col string_col
2017-01-01 12:00:00 0.4069 wWw62tq6
2017-01-01 12:01:00 0.2050 SleB4f6K
2017-01-01 12:02:00 0.5180 cXBvEXdh
2017-01-01 12:03:00 0.3069 r9kYsJQC
2017-01-01 12:04:00 0.3571 F2JjUGgO
2017-01-01 12:05:00 0.3170 8FPC4Pgz
2017-01-01 12:06:00 0.9454 ybeNnZGV
2017-01-01 12:07:00 0.3353 zSLtYPWF
2017-01-01 12:08:00 0.8510 tDZJrdMM
2017-01-01 12:09:00 0.4948 S1Rm2Sqb
2017-01-01 12:10:00 0.0279 TKtmys86
2017-01-01 12:11:00 0.5709 ww0Pe1cf
2017-01-01 12:12:00 0.8274 b07wKPsR
2017-01-01 12:13:00 0.3848 9vKTq3M3
2017-01-01 12:14:00 0.6579 crYxFvlI
2017-01-01 12:15:00 0.6568 yGUnCW6n
我需要将此数据框写入许多 Parquet 文件中。当然,还有以下工作:
table = pa.Table.from_pandas(dataframe)
pq.write_table(table, '\\\\mypath\\dataframe.parquet', flavor ='spark')
我的问题是生成的(单个)parquet
文件变得太大。
我如何有效地(在内存方面,速度方面)将写作分成每日
Parquet 文件(并保持spark
风格)?这些日常文件稍后将更容易与 spark
并行阅读。
谢谢!
最佳答案
基于索引创建一个字符串列dt
将允许您通过运行写出按日期分区的数据
pq.write_to_dataset(table, root_path='dataset_name', partition_cols=['dt'], flavor ='spark')
答案基于此 source (注意,来源错误地将分区参数列为 partition_columns
)
关于python - 如何有效地将大型数据帧拆分为多个 Parquet 文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50824943/
我有一个数组列表: ArrayList allText = new ArrayList(); 其内容是这样的: [Alabama - Montgomery, Alaska - Juneau, Ariz
我有一个 timestamp 格式的开始和结束时间。我想将它们分成多个时间段,例如 1 小时。 $t1 = strtotime('2010-05-06 12:00:00'); $t2 = strtot
我需要将 span10 分成 3 列,但我无法将它们排列起来。我应该在 span10 中添加一个 span12 还是使用 offset 还是??
我有一个时间序列。我想从早上 8 点到第二天早上 7:59 分成 24 小时的区 block 。我知道如何按日期分组,但我尝试过使用 TimeGroupers 和 DateOffsets 处理这个 8
我收到“街道号码邮政编码城市”形式的地址(作为字符串)。我想要做的是将街道和号码与邮政编码和城市分开。通常你可以按空格分割。但有些街道名称中也有空格,例如:“Emile Van Ermengemlaa
我有一个用户列表。其中一些用户处于第一状态,而其他用户处于第二状态。所以我想要的是将这个列表显示为首先,它按排序顺序显示存在 = 1 的用户,然后按排序顺序显示存在 = 2 的用户。这里的排序是根据用
我感觉我搜索了整个网络,但找不到一种方法将不同高度的 div 很好地划分为 3 列,就像 http://www.ing.nl 上那样 headertekst headerteksttesth
Bootstrap 3 按钮下拉菜单出现问题。你可以在这里看到我的两个例子: http://www.bootply.com/W1dLusilMk http://www.bootply.com/GGBv
我在 php 中执行以下操作 foreach($QuestionAsekd as $k => $v){ $grp_name = $v['NAME']; $groupValues[$gr
我找到了一种用pandas解析html的绝妙方法。我的数据格式有点奇怪(见下文)。我想将这些数据拆分为 2 个单独的数据帧。 注意每个单元格如何由,分隔...是否有任何真正有效的方法来分割所有这些单元
HTML 看起来像这样,但我不允许对其进行更改。我只能编写 CSS 将其变成 2 列。 Povezave www.behance.net www.kiberpipa.org www.o
假设我有以下数据框“A” utilization utilization_billable service 1
我需要将 2 个文本框拉伸(stretch)到 100% 的浏览器宽度,以及一个提交按钮。所有三个都应该在一行中,我试图拉伸(stretch)它但它没有发生......有什么想法吗? 代码: .sea
我是一名优秀的程序员,十分优秀!