php - 需要 MySQL INSERT - 对具有数百万条记录的表进行 SELECT 查询-6ren

php - 需要 MySQL INSERT - 对具有数百万条记录的表进行 SELECT 查询

转载作者：行者123 更新时间：2023-11-29 04:14:36

27

4

我正在尝试朝着优化 90GB 以上的表迈出一步:

旧表

每天 table 上都会抢走大约。来自外部源的 750,000 条记录，并将它们添加到具有新日期的表中。据我了解，这已经持续了三年。 97% 的记录不会从一天到下一天发生变化。

新建表格

我正在尝试遍历旧表(数百万条记录)并消除冗余，这可能会大大减少表的大小。

旧表

日期
记录编号
data_field(确实有很多字段，但为了举例)

new_table_index

日期
index_id

new_table

index_id
记录编号
数据字段

我们遍历 old_table 中每条记录的逻辑

如果(record_id 不在 new_table 中)或(record_id 在 new_table 中，但它的最新条目具有不同的 data_field)

insert it into the new_table and get the index_id

其他

get the latest entry index_id for that record_id from the new_table_index

总是

insert the index_id and date into the new_table_index

关于实现此目的的最佳方法有什么想法吗？我对 MySQL 的了解还不够先进，无法将所有这些放在一起。当我尝试用 PHP 编写脚本时，它用完了 3GB 内存，然后失败了。其他建议或疑问？？？非常感谢!

最佳答案

你可以使用这个:

new_table
    * date
    * record_id (pk)
    * data_field


INSERT INTO new_table (date,record_id,data_field)
    SELECT date, record_id, data_field FROM old_table
        ON DUPLICATE KEY UPDATE date=old_table.data, data_field=old_table.data_field;

记录 id 是主键，可以将相同的插入添加到旧表中的插入下方。

参见 mySQL

关于php - 需要 MySQL INSERT - 对具有数百万条记录的表进行 SELECT 查询，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/662877/

27

4

0

文章推荐： php - 将多个 SQL 语句拆分为单独的 SQL 语句

文章推荐： iphone - CLLocationManager 问题

文章推荐： php - iPhone 将独特的图像上传到运行 PHP/MYSQL 的服务器

文章推荐： iphone - 如何使用 revmob 运行本地通知

MySQL触发器: Before Insert or After Insert
我正在开发一些用于计费的数据库项目(PHP/MySQL)。每当创建新账单时，我想生成一个由年、周和增量编号组成的账单编号。我想用触发器来做到这一点。触发器将使用现有的账单编号来查找增量编号，或者从新
mysql - SQL insert using RAND() for inserting random value - INSERT into TINYINT?
我有一个 MySQL 插入，我正在使用 RAND 生成随机 INT 值问题是它不会插入到数据库中，因为该列接受 TINYINT ，如何将输出转换为 TINYINT。代码示例如下: INSERT INT
sql - INSERT 新记录并将生成的主键用于另一个 INSERT
如果我想从单个插入中保存主键 (mytable_id)，我已完成以下操作: CREATE OR REPLACE FUNCTION myfunct(ownerid text) RETURNS void
sql-server - Insert OUTPUT Insert.id to another table in multiple values insert
为了简单起见，假设我有两个表用户表(id，email) 用户日志表(id, date) 无论 id 被插入到 user 表中，相同的 id 也应该被插入到 user_log 表中，否则事务应该失败。
sql-server - Insert OUTPUT Insert.id to another table in multiple values insert
为了简单起见，假设我有两个表用户表(id，email) 用户日志表(id, date) 无论 id 被插入到 user 表中，相同的 id 也应该被插入到 user_log 表中，否则事务应该失败。
sql - INSERT 是否可以在触发器 "inserted"表中产生多行结果？
我知道在触发器中 - 至少对于 SQL Server - 人们永远不应该假设插入的表只有一行，这意味着触发器中这样的 SQL 通常是不好的: select @UserID = ID from inse
insert - BigQuery : insert rows, 但未写入
我正在使用 bigquery 对象中的方法 tabledata().insertAll 更新行列表。执行后，返回显示没有错误。但是，我的表仍然继续，没有写入任何数据。可能是权限问题。如果是这样，为什
insert - F# 树 : Node Insertion
这是一个扩展 F# Recursive Tree Validation 的问题，我昨天已经很好地回答了。这个问题涉及在现有树中插入一个 child 。这是我想使用的更新类型: type Name
java - 如何处理与主 INSERT 相关的辅助 INSERT
我有 2 个表:用户和照片(在 mysql 数据库中)。在这里你可以看到两个表之间的关系 User Photos -------------
MySQL - INSERT INTO SELECT ( INSERT INTO ...) - 嵌套插入
我试图同时在不同的表上插入两行。子查询INSERT INTO的AUTO_INCRMENT或id的值(如果已经存在)应该写入主查询中。目前我有这个(仅用 3 个值简化)，但它不起作用。我想知道是否有
php - INSERT IGNORE 或 INSERT WHERE NOT IN
我有一个 900 万行的表，由于其庞大的规模，我正在努力处理所有这些数据。我想做的是在不覆盖数据的情况下将 IMPORT 一个 CSV 添加到表中。在我做这样的事情之前； INSERT if no
PHP MySQL INSERT INTO : can't insert anymore
我正在写新闻并将其插入到我的数据库中，我在 3 年前构建了代码并且运行良好，但我不能再插入了，我不明白为什么: $insert=mysqli_query($co,"INSERT INTO articl
mysql - Insert statement not insert 好像找不到问题
我正在尝试编写一个简单的 INSERT 语句来将新用户添加到数据库中，但它不起作用，这意味着，我尝试插入到表中的数据都没有被插入。几个小时以来，我一直在尝试解决此问题，但没有成功。我尝试编写插入语句的
c# - INSERT，以及如何将 INSERT 插入到多个表中
所以我有这个表格: http://i.imgur.com/vZYssQy.png 现在 ID、First Name、Last Name、DOB、Address、Phone Number 和 Post
insert - 为 DataGrip 生成 sql insert into
在控制台中运行查询(SELECT 语句)时，从数据库检索到的数据以表格格式显示在数据库控制台工具窗口的结果 Pane 中。我已经搜索过 datagrip Help我只是想知道是否有任何方法可以用于为
SQL 服务器 : Insert row with trigger after Insert
每当使用触发器插入行时，我都试图将另一行插入表中，但收到以下错误消息: The target table 'EDDSDBO.Redaction' of the DML statement cannot
sql - SQL 中的 INSERT 与 INSERT INTO
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。这个问题似乎与 help center 中定义的范围内的编程无关。 . 关闭 6 年前。 Improve
php - INSERT 查询不插入数据，但是执行表明 INSERT 成功的回显
我有以下代码片段: $get_data = mysqli_query ($connect, "SELECT * FROM users WHERE username = '$username'");
python - 哪个更好-execute(INSERT) 或executemany(INSERT)
情况:需要向 SQLite 数据库中插入大量数据。问题:我们可以使用两个语句来插入数据 - data = [("111", "222", "333"), ("AAA", "BBB", "CCC"),
C# INSERT 与 INSTEAD OF INSERT TRIGGER
我的数据库中有一个表 Teacher: TABLE Teacher ( ID CHAR (7) NOT NULL , name

首页

博学

6Ren·AI

商城

php - 需要 MySQL INSERT - 对具有数百万条记录的表进行 SELECT 查询