python - 如何清理或转换Python中其他整数字段中的未知字符？

Question

我正在通过从不同来源下载数据来构建数据集。源文件都是excel文件。我正在使用 pandas 数据框来完成此任务。将编译的文件写入 .csv 文件后，我注意到数据集中的某些单元格中包含不自然的字符。例如，在包含所有整数值的字段中，一个单元格的值为 1,05–6。检查数据帧后，我发现相同的单元格被读入为 '1,05\xe2\x80\xa26'。

如果可能的话，如何将它们转换回整数？

感谢您的帮助。

Answer 1

这取决于单元格的“预期”值是多少。如果它应该是 1,056 那么你可以使用这种方法:

val = ''.join(c for c in val if c.isdigit() or c in ',.')

这也可以用函数式的方式来表达:

val = ''.join(filter(lambda c: c.isdigit() or c in ',.', val))

如果所有“trash”字符都应该被删除，那么使用类似:

from itertools import takewhile
val = ''.join(takewhile(lambda c: c.isdigit() or c in ',.', val))

在所有这些示例中，我认为允许的小数分隔符是 、 或 . 中的任何一个。