postgresql - 清理一些数据以导入 postgresql 的最佳方法？

Question

我有两列，date 为 YYMMDD 格式，time 为 HHMMSS 格式，它们是类似 150103 132244 的字符串。这些接近十亿条记录中的四分之一。在导入 PostgreSQL 之前清理数据的最佳方法是什么？例如，有没有办法在导入时执行此操作？

Answer 1

您的数据可以使用函数 to_timestamp() 转换为带时区的时间戳:

with example(d, t) as (
    values ('150103', '132244')
)

select d, t, to_timestamp(concat(d, t), 'yymmddhh24miss')
from example;

   d    |   t    |      to_timestamp      
--------+--------+------------------------
 150103 | 132244 | 2015-01-03 13:22:44+01
(1 row)

您可以将文件导入到具有临时 列 (d, t) 的表中:

create table example(d text, t text);
copy example from ....

添加带有时区的时间戳列，转换数据并删除多余的文本列:

alter table example add tstamp_column timestamptz;

update example
set tstamp_column = to_timestamp(concat(d, t), 'yymmddhh24miss');

alter table example drop d, drop t;