python - 在线性时间内动态更新 Python 中的 MySQL 表

Question

我有一个包含大量条目的现有表，我想为每一行计算一个新列。我只找到了以下解决方案。这有效，但速度很慢，因为它需要扫描表的大部分条目。
我想要的是一种方法:

阅读一行

根据行

的内容计算新列的值

更新到数据库

这样它只会通过表一次并且具有线性复杂性。

        cursor.execute("SELECT tweet FROM Table")
        row = cursor.fetchone()
        while row is not None:
            vader = analyser.polarity_scores(row)
            sentiment_vader = vader["compound"]
            cursor2.execute(
                    "UPDATE Table SET sentiment_vader = %s WHERE tweet = %s LIMIT 1",
                    (sentiment_vader, row[0]))
            kody.cnx.commit()
            row = cursor.fetchone()

Answer 1

我看到的主要性能问题是您不应该为每行更新提交，因为这会增加开销。您应该在 while 结束时或一批之后提交。

while row is not None:
   ...
else:
   kody.cnx.commit()

另外，如果 tweet列未编入索引只需在该列上创建索引，以便在更新期间不进行表扫描。