python - 如何用 to 读取 csv 到 DASK 数据帧，这样它就不会有 “Unnamed: 0” 列？

Question

目标

我想在不获取“未命名:0”列的情况下将 csv 读入 DASK 数据框。

代码

mydtype = {'col1': 'object',
           'col2': 'object',
           'col3': 'object',
           'col4': 'float32',}


do = dd.read_csv('/folder/somecsvname.csv', 
                 dtype = mydtype, 
                 low_memory=False,
                 parse_dates=['col3'],
                )

结果列

• 未命名:0
• col1
• 第二栏
• col3
• col4

尝试过的解决方案

• 1.与 Pandas 一起工作，而不是与 dask 一起工作 - pd.read_csv add column named "Unnamed: 0
• 2.与 Pandas 一起工作，而不是与 dask 一起工作 - How to get rid of "Unnamed: 0" column in a pandas DataFrame?
• 添加代码以读入:index_col=False 错误消息:ValueError:不支持关键字“index”和“index_col”。使用 dd.read_csv(...).set_index('my-index') 代替
• 添加代码以读入:index_col=0 错误消息:ValueError:不支持关键字“index”和“index_col”。使用 dd.read_csv(...).set_index('my-index') 代替
• 以前 2 条错误消息推荐的代码-> DISFUCTION:这只是将一个值设置为索引，但仍会生成“未命名:0”列

do = dd.read_csv('/folder/somecsvname.csv', 
                 dtype = mydtype, 
                 low_memory=False,
                 parse_dates=['col3'],
                ).set_index('col3')

• 添加代码以读入:index_col=None 错误消息:ValueError:不支持关键字“index”和“index_col”。使用 dd.read_csv(...).set_index('my-index') 代替
• 添加代码以读入:index_col=None，header=0 错误消息:ValueError:不支持关键字“index”和“index_col”。使用 dd.read_csv(...).set_index('my-index') 代替

Answer 1

问题在于此列 (Unnamed: 0) 存在于原始 csv 文件中。最好在生成此文件时在上游解决它。如果那不可能，那么您可以使用 dask.dataframe 做的最好的事情是:

ddf = dd.read_csv(my_file)
ddf = ddf.drop('Unnamed: 0', axis=1)

这是一个可重现的例子:

import dask.dataframe as dd
import pandas as pd

df = pd.DataFrame(range(5))
df.to_csv('abc.csv')

ddf = dd.read_csv('abc.csv')
ddf = ddf.drop('Unnamed: 0', axis=1)