python - dask csv 阅读顺序

Question

我有一个时间序列，其值存储在不同的 csv 中。每个 csv 都经过排序并包含一个变量秒，这是一个时间扫描。

    df = dd.read_csv('/home/data/derived/ips_subnets.7days/*')
df.head()

          seconds                IP        subnet
    0  1477252800  Private-10.0.0.0   10.101.15.6
    1  1477252800  Private-10.0.0.0  10.102.223.2
    2  1477252800  Private-10.0.0.0  10.104.15.43
    3  1477252800  Private-10.0.0.0  10.104.5.241
    4  1477252800  Private-10.0.0.0  10.106.15.26  

现在如何设置 csv 文件应根据变量 seconds 顺序读取？

Answer 1

默认情况下 dask.dataframe.read_csv 按字母顺序读取文件，因此如果您的文件名遵循标准命名方案，例如 2016-05-06.csv 那么您应该没问题。

如果需要，您可以使用 dask.delayed 自定义它.这是一个类似的 example notebook .

最后，您始终可以调用 df = df.set_index('seconds')，但是这比其他方法慢得多，并且需要对数据进行全面扫描。