python - Pandas 将数据帧转换为 Utf-8

Question

我有一个包含 100 行和 24 列的 df。列类型是字符串。当我尝试将数据框附加到 KDB 时抛出以下错误

UnicodeEncodeError: 'ascii' codec can't encode character '\xd3' in position 9: ordinal not in range(128)

这是我的 df 中第一行的示例。

                        AnnouncementDate AuctionDate    BBT  \
_id
00000067   2012-12-11T00:00:00.000+00:00         NaN   FHLB

           CouponDividendRate DaysToSettle  \
_id
00000067                 0.61            1

                                        Description  \
_id
00000067                         FHLB 0.61 12/28/16

                     FirstSettlementDate           ISN IsAgency IsWhenIssued  \
_id
00000067   2012-12-28T00:00:00.000+00:00  US313381K796     True        False


           ...  OnTheRunTreasury OperationalIndicator  \
_id        ...
00000067   ...               NaN                False


          OriginalAmountOfPrincipal OriginalMaturityDate  \
_id
00000067                 13000000.0                  NaN


          PrincipalAmountOutstanding       SCSP       SMCP  \
_id
00000067                         0.0  313381K79   76000000

           SecurityTypeLevel1 SecurityTypeLevel2   TCK
_id
00000067          US-DOMESTIC                NaN   NaN

我的问题是，是否有一种简单的方法可以将我的 df 转换为 utf-8 格式？

可能类似于 df = df.encode('utf-8')

谢谢

Answer 1

这取决于您输出数据的方式。如果您只是使用 csv 文件，然后将其导入 KDB，那么您可以轻松指定:

df.to_csv('df_output.csv', encoding='utf-8')

或者，您可以在最初将数据导入 Pandas 时设置编码，使用相同的语法。

如果您使用 SQLAlchemy 或类似的东西直接连接到 KDB，您应该尝试在连接本身中指定它 - 参见这个问题:Another UnicodeEncodeError when using pandas method to_sql with MySQL