gpt4 book ai didi

sql - 从(非索引/非顺序)大文件中提取新行的好方法

转载 作者:数据小太阳 更新时间:2023-10-29 08:04:22 27 4
gpt4 key购买 nike

<分区>

我有一个 csv 大文件 (>1GB) 位于网络文件存储中,每周更新一次新记录。该文件包含与这些类似的列:

Customer ID | Product | Online? (Bool) | Amount | Date

我需要使用此文件更新客户 ID 的 postgresql 数据库,其中包含每个月按产品和商店分类的总金额。像这样:

Customer ID | Month | (several unrelated fields) | Product 1 (Online) | Product 1 (Offline) | Product 2 (Online) | ect...

因为文件太大(并且随着每次更新而稳步变大),我需要一种有效的方法来获取更新的记录并更新数据库。不幸的是,我们的服务器按客户 ID 而不是日期更新文件,所以我无法跟踪它。

有没有一种聪明的方法来比较文件,使其不会随着文件不断增长而中断?

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com