python - utf-8 编码在 pd.read_csv() 中给出错误

Question

我在以下位置有一些文件夹:log_files_path。所有这些文件夹都包含具有不同名称的 CSV。我的目标是从 log_files_path 中存在的所有文件夹中读取所有这些 csvs，并将它们整理成一个数据帧。我写了以下代码:

all_files = pd.DataFrame()
     
    for region in listdir(log_files_path):
        region_log_filepath = join(log_files_path, region)
        #files stores file paths
        files = [join(region_log_filepath, file) for file in listdir(region_log_filepath) if isfile(join(region_log_filepath, file))]

        #appends data from all files to a single a DF all_files
        for file in files :
            all_files = all_files.append(pd.read_csv(file, encoding= 'utf-8')).reset_index(drop=True)
    return all_files

这给了我一个错误:UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa0 in position 61033: invalid start byte打开 CSV 文件时，发现某些列的值如下:

和 ƒÂ、 €€€€€€€€€€€。

我想一起忽略这些字符。我该怎么做？

Answer 1

您可以传递 encoding_errors='ignore'，但我建议您先尝试不同的编码。