c++ - 在C++中异步执行sql查询

Question

我有一个将数据读入 map 并将其写入 sqlite 数据库的应用程序。该应用程序做了很多其他事情，并且是异步的(使用 boost asio)，除了写入 db 部分。这是示例伪代码:

struct records;
std::map<int, records> list;
void read() {
    // Dump(read) X records into list
    // If record id doesn't exist, add it. dirty = true
    // If it exists, update all other fields. dirty = true if any fields changed.
}

void writeDB() {
    sqlite3_prepare_v2();
    for(const auto& record : list) { // iterate map
        if(!record.dirty())
            continue;
        sqlite3_bind(); // bind record fields
        sqlite3_step(); // execute sql 
        sqlite3_reset(); // reset
    }
    sqlite3_finalize();
}

main() {
    while(1) {
        read();
        writeDB();
    }
}

我最初的计划是在 for 循环内生成一个新线程，它将并行写入数据库中的每条记录。有两个问题。

1) 可能需要实现数据库锁定。

2) sqlite bind()、step() 和 reset() 操作同一条语句。因此，记录必须按顺序写入。

我正在使用 C++ 17。关于使数据库调用异步有什么建议吗？感谢您的帮助!

Answer 1

您不必实现锁定。 SQLite does provide ACID guarantees这意味着您不必在插入物周围实现锁定。

话虽如此，为每个插入操作生成一个线程肯定是多余的。您可以考虑将您的列表拆分为与机器上的核心数相等的部分，并执行 N 个并行循环来插入。但在我看来，除此之外的任何事情都可能是矫枉过正。

但是不要把我的话当成理所当然。考虑检测您的代码并对您现在拥有的单线程版本以及您可能选择的任何并行实现进行基准测试。您可以测试各种线程数(但请记住，多线程代码性能与可用内核数之间存在关系)以及并发实现:C++17 std 并行执行或 boost 变体等.