python - 规范化遗漏波兰语字符

Question

我有一个包含人员数据的大数据框。我想压平所有奇怪的变音符号并将它们转换为最接近的 ascii 字符。基于我在 SO 中找到的解决方案，我执行以下操作:

for column in df.columns:
            df[column] = df[column].astype("str").str.normalize('NFKD').str.encode('ascii', errors='ignore').str.decode('utf-8')

它适用于大多数情况(尚未全部检查)，但我注意到它漏掉了波兰语中的字母“ł”。例如 Lech Wałęsa 被翻译成 Lech Waesa 而我的期望是看到 Lech Walesa。我的猜测是 ignore 参数在 str.encode 方法中的作用。知道如何让它适用于任何变音符号吗？

Answer 1

尝试使用 unidecode ，非常适合您描述的示例。

from unidecode import unidecode

for column in df.columns:
   df[column] = [unidecode(x) for x in df[column].values]