python - mysql:通过应用 python 函数更新数百万条记录

Question

我有一个 python 函数 (pyfunc):

def pyfunc(x):
    ...
    return someString

我想将此函数应用于 mysql 表列中的每个项目，像这样的东西:

UPDATE tbl SET mycol=pyfunc(mycol);

本次更新包括数千万条记录。有没有一种有效的方法来做到这一点？

注意:我不能用sql或任何其他编程语言重写这个函数。

Answer 1

如果您的 pyfunc 不依赖其他数据源，如 api 或任何缓存，而只是进行一些数据处理，如字符串或数学操作，或者依赖于存储在 mysql 中同一数据库中的数据，您应该选择 MySQL user defined functions .

假设您创建了一个名为 colFunc 的 MySQL 函数，那么您的查询将是

更新 tbl set mycol=colFunc(mycol)