mysql - 无法将大型数据帧保存到 MySQL 中

Question

我有包含总共 [1127618 行 x 64 列] 的 Panda 数据框，并尝试使用下面给定的命令保存到 mysql 中。

engine = create_engine('mysql+mysqlconnector://user:password@127.0.0.1/joohun_test', echo=False)
df.to_sql(name='tst_dr3_201801', con=engine, if_exists = 'replace', index=False 

当它执行这个命令时，它需要很长时间并且看起来像是从未完成的任务所以如果我将数据帧减少到[10000行×64列]，它最终可以保存到Mysql数据库中。但我在 MySQL 中保存数据的最终形式时遇到了不同的问题。正如您所看到的“smaster_uuttype”和“user”列，字符之间添加了空格。

MariaDB [joohun_test]> select serialno, uuttype, smaster_uuttype,failingtestname,cpptimeid, user, year, month from tst_dr3_sample limit 10;
+-------------+--------------------+--------------------------------------+-----------------+-----------+------------------+------+-------+
| serialno    | uuttype            | smaster_uuttype                      | failingtestname | cpptimeid | user             | year | month |
+-------------+--------------------+--------------------------------------+-----------------+-----------+------------------+------+-------+
| ABCDEFGH | ABCD-ABC-2500ABCD= | D E F G - H I J - 2 5 0 0 A B C D =  |                 | NULL      | d u n g l e      | 2018 |     1 |

但是，查看同一行 panda 数据框，字符之间没有空格。

    serialno    uuttype  smaster_uuttype    failingtestname cpptimeid   user    year    month
0   ABCDEFGH    ABCD-ABC-2500ABCD=  DEFG-HIJ-2500ABCD=      None    dungle  2018    1

有两件事我想知道。

1. 我想知道是否有办法将数据保存到mysql中，就像panda中保存字符串一样，字符之间没有空格。
2. 有没有办法将大尺寸的数据帧保存到mysql中，而不是将数据帧分割成小帧？

Answer 1

使用 df.to_sql() 可能会出现问题。您应该使用 native 方式来执行此操作。这是示例 https://dev.mysql.com/doc/connector-python/en/connector-python-example-cursor-transaction.html