python - ValueError : Sample is not large enough to include at least one row of data. 请增加 `sample` 中的字节数

Question

我正在尝试读取 csv 文件(2GB)。由于大小很大，我使用了 dask，但它显示了 ValueError:样本不够大，无法包含至少一行数据。请在调用 read_csv/read_table 时增加 sample 中的字节数谁能建议我如何解决它？谢谢

代码:

import dask.dataframe as dd
df= dd.read_csv('file1.csv')

错误:

ValueError: Sample is not large enough to include at least one row of data. Please increase the number of bytes in `sample` in the call to `read_csv`/`read_table`

Answer 1

该错误意味着“请在对 read_csv 的调用中包含可选关键字参数 sample，给出一个足够大的值(以字节为单位)以包含一行数据”。查看函数 docstring ，您会看到默认值为 256000bytes。

所以也许可以尝试一下

df = dd.read_csv('file1.csv', sample=1000000)