postgresql - Postgis 数据库 : How can I get all gps points between specified timestamps and specified region?

Question

我是 DBMS 的新手。我在每个用户的不同 csv 文件中都有车辆痕迹。格式:名称，时间戳，纬度，经度，randomId。例如:user0,2008-10-2309:42:25,441972.694217,4428508.5117,2704942289

1) 如何实现RANGE 查询，它要求在时间戳 (t1) 和 t2 之间看到的所有车辆的所有 gps 点在范围内 (center= lat,lon; radius=r km)。

因为我在所有 csv 中有数十亿行。我创建了一个基本表

  CREATE TABLE userDataBase1
(
    gid serial NOT NULL,
    name character varying(50),
    time_stamp TIMESTAMPTZ // postgresql doesn't have this datatype
    latitude numeric(12,8),// Don't know the data type for UTM points
    longitude numeric(12,8),
    pseudonym integer,
    the_geom geometry
);

我应该这样直接复制吗？

\copy landmarks(name,time_stamp,landmark,latitude,longitude) FROM '/local/path/to/Individual_Landmarks.csv' DELIMITERS ',' CSV HEADER;

2) 复制和构建数据库的最佳方式是什么，以便我的RANGE 查询(如上定义)有效地从数十亿条轨迹中返回数据。

Atleast 基本实现，效果也不错。

因为我是 DBMS 的新手。小片段的解释真的很有帮助。太感谢了!P.S: 我使用的是 postgre 9.5、postgis 2.2、windows 10、pgAdmin III

仅供引用:我已通过 Python 脚本成功连接到数据库。

import psycopg2
conn = psycopg2.connect(database="postgis_unistuttgart", user="postgres", password="vishnu", host="127.0.0.1", port="5432")
print "Opened database successfully"

编辑1:问题的小变化。我已将纬度和经度更改为 UTM，就像使用 python 脚本一样。

import utm
import os
def gpsToUtm(latDeg,lonDeg):
    #print "gpsToUtm:",latDeg,lonDeg
    lat,lon,zoneNo,Zoneletter = utm.from_latlon(latDeg, lonDeg)    
    return lat,lon

例如:现在我在 UTM 中有这样的位置值 (441972.694217,4428508.5117)。

1) PostgreSQL 表中 UMT position(Meters) 的数据类型应该是什么？2) TIMESTAMPTZ 在我的 postgresql 版本中不可用。那么这种格式的正确数据类型应该是什么

2008-10-2309:42:25

.

Answer 1

如果您有数十亿行，请使用 table inheritance以加快查询性能和数据加载过程。

如评论中所述，首先将输入数据拆分为较小的数据集。您首先创建一个父表，然后创建那么多子表，然后输入文件。在示例中，我使用 landmarks_child_1 作为表名。其他表可以命名为 landmarks_child_2、landmarks_child_3 等。

-- Create a parent table landmarks
CREATE TABLE landmarks (
  id serial primary key,
  name text,
  time_stamp timestamp,
  landmark text,
  latitude double precision,
  longitude double precision,
  geom geometry(Point, 4326)
);

现在创建并填充子表 landmarks_child_1。对所有其他子表重复此步骤。

-- Create and fill the child table landmarks_child_1
CREATE TABLE landmarks_child_1 () INHERITS (landmarks);
ALTER TABLE landmarks_child_1 ADD PRIMARY KEY (id);   

-- create index for better performance.
CREATE INDEX landmarks_child_1_gist_geom ON landmarks_child_1 USING GIST (geom);        
CREATE INDEX landmarks_child_1_timestamp_index ON landmarks_child_1 ( time_stamp)


-- copy data
\copy landmarks_child_1(name,time_stamp,landmark,latitude,longitude) FROM '/local/path/to/Individual_Landmarks.csv' DELIMITERS ',' CSV HEADER;

-- create postgis geometries based on longitude and latitude
UPDATE landmarks_child_1 SET geom = St_SetSrid(ST_Point(longitude, latitude),4326);

如果您有 UTM 坐标而不是全局长/滞后，只需更改 srid。 IE。在北京你会使用 srid 32650

UPDATE landmarks_child_1 SET geom = St_SetSrid(ST_Point(longitude, latitude),32650);

现在您的数据库中有数据并且可以请求数据。

示例查询

在此示例查询中，我请求坐标 116.32015799999、40.004775000971(中国北京)周围 100 米半径内以及时间戳 2016-01-01 01:00:00 和 2016-01-01 02:00 之间的所有点:00(一小时)。

SELECT * FROM landmarks 
WHERE ST_DWithin(geom::geography, ST_Point(116.32015799999, 40.004775000971)::geography, 100)
AND time_stamp BETWEEN '2016-01-01 01:00:00'::timestamp AND '2016-01-01 02:00:00'::timestamp;

如果您有 UTM 坐标，只需使用 ST_SetSrid()并且不要转换到地理。

...
WHERE ST_DWithin(geom, ST_SetSrid(ST_Point(441972.694217,4428508.5117),32650), 100)
...

为什么要继承？

主要是因为性能更好。如果您有数百万行，您的查询将使用继承更快，因为您将在单个表中存储十亿行。您可以查询父表并将返回所有子表的结果(根据您的 WHERE 子句)。

您不需要知道您的数据实际位于哪个子表中。表继承将为您做到这一点。 (有关更多信息:请参阅 inheritance)

重要 Postgis 中的坐标是经度/纬度，也是 x/y。在谷歌地图和大多数 map 网络 API 中，坐标以相反的顺序表示:纬度/经度 (y/x)。使用正确的顺序!