sqlite - Golang 并发 R/W 到数据库

Question

我正在编写一些 Go 软件，负责下载和解析大量 JSON 文件并将解析后的数据写入 sqlite 数据库。我当前的设计有 10 个 go 例程，同时下载/解析这些 JSON 并将它们传送到另一个 go 例程，该例程的唯一工作是监听特定 channel 并将 channel 内容写入数据库。

系统会在所有写入完成后执行一些额外的读取操作，这会导致查询返回错误结果的问题，因为并非所有数据都已写入表。因为我提取的 JSON 数据是动态的，所以我没有简单的方法知道所有数据何时都已写入。

我考虑了两种解决方案的可能性，尽管我对这两种解决方案都不太满意:

在 channel 上收听并等待它为空。这原则上应该有效，但是，它不能确保数据已被写入，它只确保它已在 channel 上接收到。

同步对数据库的访问。这在原则上应该再次起作用，但是，我仍然需要将查询操作放在所有写操作之后。

我是否应该考虑其他任何设计决策来纠正这个问题？作为引用，我用来提取这些数据的库是 go-colly 和 go-sqlite3。感谢所有的帮助!

Answer 1

您可以使用 sync.WaitGroup
例如

package main

import "sync"

func main() {
    // Some sort of job queue for your workers to process. This job queue should be closed by the process
    // that populates it with items. Once the job channel is closed, any for loops ranging over the channel
    // will read items until there are no more items, and then break.
    jobChan := make(chan JobInfo)

    // Populate the job queue here...
    // ...
    close(jobChan)

    // We now have a full queue of jobs that can't accept new jobs because the channel is closed.

    // Number of concurrent workers.
    workerCount := 10

    // Initialize the WaitGroup.
    wg := sync.WaitGroup{}
    wg.Add(workerCount)

    // Create the worker goroutines.
    for i := 0; i < workerCount; i++ {
        go func() {
            // When the jobChan is closed, and no more jobs are available on the queue, the for loop
            // will exit, causing wg.Done() to be called, and the anonymous function to exit.
            for job := range jobChan {
                // Process job.
            }
            wg.Done()
        }()
    }

    // Wait for all workers to call wg.Done()
    wg.Wait()

    // Whatever you want to do after all queue items have been processed goes here.
    // ...
}