- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我正在尝试找出一种节省时间的方法来将我们通常连接在一起的两个表折叠成一个表。这些表包含读数,其中表 A 是包含读数类型的表,表 B 包含到表 A 的 FK 和实际读数的值。在我们的生产服务器上,这两个表各约 1 GB。
两个表的架构如下
表A
id | fk_id | timestamp | type
1 | 1 | 1510155021| type A
2 | 1 | 1510155021| type B
表B
id | fk_to_a | value
1 | 1 | 30.5
2 | 2 | 50.7
我们通常执行一个看起来像这样的连接
select *
from a
join b
on b.fk_to_a = a.id
order by a.time_stamp desc
这里的关键点是连接会给我们返回一堆行,其中每 n 行都有一个 n+1“伙伴”行。
连接的示例结果是
a.id | a.fk_id | a.timestamp | a.type | b.id | b.fk_to_a | b.reading
1 | 1 | 1510155021 | type A | 1 | 1 | 30.5
2 | 1 | 1510155021 | type B | 2 | 2 | 50.7
第一行是n,第二行是n+1。 n 和 n+1 唯一的共同点是它们的时间戳,它总是相同的。
我们想将这两行压缩成一行,就像这样
c.id | c.fk_id | c.timestamp | c.a_reading | c.b_reading
1 | 1 | 1510155021 | 30.5 | 50.7
我目前有一个非常非常基本的迁移脚本,我在其中使用 python 获取查询并存储连接结果,遍历此连接(这需要数小时)以找到 n 和 n+1 以便创建“对”,然后通过 INSERT
语句将这些对输出到新表中。
这是我的 for 循环,循环遍历连接,这是执行此 ETL 作业的 99% 的时间。
#above is the join, database initialization. I'm using pymysql
combinedList = []
eventList = list(cursor.fetchall())
for idx, row in enumerate(eventList):
if (idx + 1) < eventLength:
if eventList[idx][2] == eventList[idx+1][2]:
insertStatement = 'INSERT INTO c (fk_to_a, timestamp, a_reading, b_reading) VALUES('
insertStatement += str(eventList[idx][1]) + ',' + str(eventList[idx][2]) + ',' + str(eventList[idx][6]) + ',' + str(eventList[idx+1][6]) + ');'
combinedList.append(insertStatement)
del eventList[idx+1]
else:
print 'end of the events'
我知道我的迁移策略还有改进的余地。有没有人有过像我想做的事情的经验?
感谢您抽出时间阅读本文。
最佳答案
JOIN
的目的是将两个单独的行(来自)合并为一个行,无论这些行来自不同的表还是来自同一个表。您可以编写一个相对简单的查询来生成您想要的行,例如
select
a1.id as id,
a1.fk_id as fk_id,
a1.timestamp as timestamp,
b1.reading as a_reading,
b2.reading as b_reading
from
a as a1
join a as a2 on a1.timestamp = a2.timestamp
join b as b1 on b1.fk_to_a = a1.id
join b as b2 on b2.fk_to_a = a2.id
where
a1.type = 'type A' and a2.type = 'type B'
在 MySQL 中,您可以将这样的查询与 CREATE TABLE ... SELECT
语句或 INSERT INTO ... SELECT
语句结合使用(取决于目标表是否已经存在)来填充新表,将所有内容保存在数据库中。将其保存在数据库中应该会带来实质性的改进。
原始表上的合适索引可能有助于提高查询性能。您可能会发现仅在最初填充结果表后才在结果表上创建任何需要的索引更有效。
关于python - 将 join 的两列合并为一列的结果,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47184102/
我正在 csv 上使用 hadoop 来分析一些数据。我使用sql/mysql(不确定)来分析数据,现在陷入了僵局。 我花了好几个小时在谷歌上搜索,却没有找到任何相关的东西。我需要一个查询,在该查询中
我正在为 Bootstrap 网格布局的“简单”任务而苦苦挣扎。我希望在大视口(viewport)上有 4 列,然后在中型设备上有 2 列,最后在较小的设备上只有 1 列。 当我测试我的代码片段时,似
对于这个令人困惑的标题,我深表歉意,我想不出这个问题的正确措辞。相反,我只会给你背景信息和目标: 这是在一个表中,一个人可能有也可能没有多行数据,这些行可能包含相同的 activity_id 值,也可
具有 3 列的数据库表 - A int , B int , C int 我的问题是: 如何使用 Sequelize 结果找到 A > B + C const countTasks = await Ta
我在通过以下功能编写此查询时遇到问题: 首先按第 2 列 DESC 排序,然后从“不同的第 1 列”中选择 只有 Column1 是 DISTINCT 此查询没有帮助,因为它首先从第 1 列中进行选择
使用 Bootstrap 非常有趣和有帮助,目前我在创建以下需求时遇到问题。 “使用 bootstrap 在桌面上有 4 列,在平板电脑上有 2 列,在移动设备上有 1 列”谁能告诉我正确的结构 最佳
我是 R 新手,正在问一个非常基本的问题。当然,我在尝试从所提供的示例中获取指导的同时做了功课here和 here ,但无法在我的案例中实现这个想法,即可能是由于我的问题中的比较维度更大。 我的实
通常我会使用 R 并执行 merge.by,但这个文件似乎太大了,部门中的任何一台计算机都无法处理它! (任何从事遗传学工作的人的附加信息)本质上,插补似乎删除了 snp ID 的 rs 数字,我只剩
我有一个 df , delta1 delta2 0 -1 2 0 -1 0 0 0 我想知道如何分配 delt
您好,我想知道是否可以执行以下操作。显然,我已经尝试在 phpMyAdmin 中运行它,但出现错误。也许还有另一种方式来编写此查询。 SELECT * FROM eat_eat_restaurants
我有 2 个列表(标题和数据值)。我想要将数据值列 1 匹配并替换为头文件列 1,以获得与 dataValue 列 1 和标题值列 2 匹配的值 头文件 TotalLoad,M0001001 Hois
我有两个不同长度的文件,file2 是一个很大的引用文件,我从中提取文件 1 的数据。 我有一行 awk,我通常会对其进行调整以在我的文件中进行查找和替换,但它总是在同一列中进行查找和替换。 所以对于
假设我有两个表,如下所示。 create table contract( c_ID number(1) primary key, c_name varchar2(50) not
我有一个带有 varchar 列的 H2 表,其检查约束定义如下: CONSTRAINT my_constraint CHECK (varchar_field <> '') 以下插入语句失败,但当我删
这是最少量的代码,可以清楚地说明我的问题: One Two Three 前 2 个 div 应该是 2 个左列。第三个应该占据页面的其余部分。最后,我将添加选项来隐藏和
在 Azure 中的 Log Analytics 中,我为 VM Heartbeat 选择一个预定义查询,我在编辑器中运行查询正常,但当我去创建警报时,我不断收到警报“查询未返回 TimeGenera
在 Azure 中的 Log Analytics 中,我为 VM Heartbeat 选择一个预定义查询,我在编辑器中运行查询正常,但当我去创建警报时,我不断收到警报“查询未返回 TimeGenera
今天我开始使用 JexcelApi 并遇到了这个:当您尝试从特定位置获取元素时,不是像您通常期望的那样使用sheet.getCell(row,col),而是使用sheet.getCell(col,ro
我有一个包含 28 列的数据库。第一列是代码,第二列是名称,其余是值。 public void displayData() { con.Open(); MySqlDataAdapter
我很沮丧:每当我缩小这个网页时,一切都变得一团糟。我如何将网页居中,以便我可以缩小并且元素不会被错误定位。 (它应该是 2 列,但所有内容都合并为 1)我试过 但由于某种原因,这不起作用。 www.o
我是一名优秀的程序员,十分优秀!