python - PyMySQL 警告 : (1366, "Incorrect string value: '\\xF0\\x9F\\x98\\x8D t...')

Question

我正在尝试使用 Pandas 和 MySQL 将数据(推文和其他 Twitter 文本信息)导入数据库。我收到以下错误:

166: Warning: (1366, "Incorrect string value: '\xF0\x9F\x92\x9C\xF0\x9F...' for column 'text' at row 3") result = self._query(query)

166: Warning: (1366, "Incorrect string value: '\xF0\x9F\x98\x8D t...' for column 'text' at row 5") result = self._query(query)

经过彻底搜索后，我的数据库列的设置方式似乎有问题。我已尝试将数据库字符集设置为 UTF8 并将其整理为 utf_unicode_ci，但我仍然收到相同的错误。

以下是将数据导入数据库的代码:

#To create connection and write table into MySQL

engine = create_engine("mysql+pymysql://{user}:{pw}@{lh}/{db}?charset=utf8"
                       .format(user="user",
                               pw="pass",
                               db="blahDB",
                               lh="bla.com/aald/"))

df.to_sql(con=engine, name='US_tweets', if_exists='replace')

我正在导入的数据包含以下数据类型:“int64”、“object”和“datetime64[ns]”。我通过使用

将数据打印到控制台来找出这些数据类型

print(df['tweett']) >>> returns dtype 'object'

如果有任何帮助，我将不胜感激!

Answer 1

当连接到 MySQL 和涉及的列时，您需要 utf8mb4，而不是 utf8。

更多 Python 技巧:http://mysql.rjweb.org/doc.php/charcoll#python (除非使用 utf8mb4 代替 utf8。UTF-8 不应更改。)

可以找到更详细的解释 here .