python - 具有无序索引的 dask 数据帧会导致静默错误吗？

Question

围绕 dask.DataFrame 的方法似乎都可以确保索引列已排序。但是，通过使用 from_delayed，可以构造一个具有未排序索引列的 dask 数据帧:

pdf1 = delayed(pd.DataFrame(dict(A=[1,2,3], B = [1,1,1])).set_index('A'))
pdf2 = delayed(pd.DataFrame(dict(A=[1,2,3], B = [1,1,1])).set_index('A'))
ddf = dd.from_delayed([pdf1,pdf2]) #dask.DataFrame with unordered index

组合 [索引已设置，索引未排序，分区未知] 是我在 dask 自己创建的数据框中从未见过的东西。所以我的问题是:

• dask 是否经过测试可以很好地处理这样的数据框？
• 甚至可能是对此类数据帧的计算默默地给出了错误的结果，例如因为他们假定索引已排序或在不完整的数据子集上执行？
• 或更笼统:如果索引列未排序，它只会减慢索引访问速度还是会破坏功能？

Answer 1

许多 dask.dataframe 操作将拒绝操作或将在没有已知划分的数据帧上使用较慢的算法进行操作。参见 http://dask.pydata.org/en/latest/dataframe-design.html#partitions

例如，如果 dask.dataframe 知道索引已排序并且知道每个分区的最小值/最大值，则 df.loc 会很快。但是，如果此信息未知，则 df.loc 必须详尽地查看所有分区。

一般来说 dask.dataframe 知道你提出的可能性，应该采取相应的行动。有些操作会比较慢。部分操作会拒绝操作。