python - 在Mac上的pandas中打开csv文件时出现utf-8错误

Question

我正在尝试在 Mac 上使用 utf8 打开包含日语字符的 csv 文件。

我使用的代码如下:

foo = pd.read_csv("filename.csv", encoding = 'utf8')

但是，我收到以下错误消息。

'utf-8' codec can't decode byte 0x96 in position 0

我尝试环顾四周，但很多解决方案似乎都适用于 Windows/我还没有在其他解决方案上取得任何成功。

感谢您的帮助!

Answer 1

看来你的文件确实有一个非unicode字符。该文件的正确编码很大程度上取决于其内容，但在最常见的情况下，0x96 可以使用 CP-1252 进行解码。因此，只需尝试按如下方式对其进行解码:

foo = pd.read_csv("filename.csv", encoding = 'cp1252')

如果您不知道文件的原始编码，可以尝试使用第三方库进行检测，如 chardet .

如果您上传文件的一部分来重现问题，我可能会为您提供更多帮助。