android - 如何从 SQLite 中读取 400 万行并将它们快速写入文件？

Question

在我当前的 android 项目中，我正在开发一个记录通信数据的应用程序。每个数据包都存储在我的 SQLite 数据库中的一行中。我的一个测试录音有 3.888.530 行。

应用程序应支持导出功能，以将此数据写入 JSON 格式的文本文件。目前我正在使用 LIMIT 函数，读取 5.000 行的包并将它们写入文件。这真的很慢。我认为从数据库读取 15.000 行并将它们写入文件需要超过 60 秒。

为了写作，我使用了 PrintStream。创建一个字符串，并将转换为字节数组的过程提供给流。

我用这个查询读取了我的数据包:

SELECT * 
FROM data_packet 
INNER JOIN data_packet_type 
    ON data_packet.data_packet_type_id = data_packet_type.id 
WHERE recording_id = 7 
ORDER BY time_received ASC 
LIMIT 5000 OFFSET 0

查询通过调用执行:

db.rawQuery(query, null);

然后我用游标遍历数据并存储数据。

我希望有一种方法可以更快地导出数据。谢谢。

Answer 1

我认为，您真的应该删除 LIMIT 函数。

通过使用 LIMIT/OFFSET，您可以强制数据库一遍又一遍地读取相同的行 block ，特别是当您使用 ORDER BY 和/或 JOINS 时。

我会考虑的另一个问题(当我有 db 方案时)是您是否真的需要 JOIN。对我来说，它看起来是可以避免的，但当然数据库可以优化 JOIN，如果没有方案或者 EXPLAIN，我也不能说什么。

如果这没有帮助，我建议只读而不写，所以你可以看到，在这种情况下你是数据库还是写绑定(bind)(正如罗伯特暗示的那样，PrintStream 可能不利于写作 - - 当写入大量数据时，很可能是写入速度慢)。

但是没有db scheme和信息，如果是读或者写的问题，很难有更好的答案!