MySQL 非常大的 INSERT ... SELECT 或 SELECT 然后 INSERTS 的应用程序级批处理

Question

如果我有大量数据要处理(需要 SELECT)然后插入另一个表(INSERT)，哪个更好

• 一个长的INSERT ... SELECT 语句，或者可能是一个存储过程
• OR 应用程序级别 SELECT 第一个过程创建批处理 INSERT INTO table () VALUES (), (), ...

INSERT ... SELECT 会挂起服务器吗？或者可能内存不足？假设 SELECT 结果在一个大数据集中说 100 万条记录(但数据很少，~2+ 列。ID 列所以它是一个 INT)

更新:应用程序正在使用 NodeJS

Answer 1

从性能角度来看，将所有数据处理保留在数据库中通常是最佳解决方案。

处理一百万行应该没问题。当然，还有其他考虑因素:例如索引和触发器。此外，如果插入阻止其他查询，那是另一个问题。但一般来说，select 中的一百万行应该没问题。