google-app-engine - 使用 go 和应用引擎的数据存储导入和解析大型 CSV 文件

Question

我在本地成功地能够(在任务中):

• 打开 csv
• 扫描每一行(使用 Scanner.Scan)
• 将解析后的 CSV 行映射到我想要的结构
• 将结构保存到数据存储

我看到了 blobstore has a reader这样我就可以 read the value directly using a streaming file-like interface. -- 但这似乎有 32MB 的限制。我还看到有一个批量上传工具 -- bulk_uploader.py -- 但它不会完成我需要的所有数据处理，我想限制这个批量插入的写入(以及实际成本)。

如果没有从本地存储读取的好处，如何有效地读取和解析一个非常大的 (500mb+) csv 文件？

Answer 1

您需要查看以下选项，看看它是否适合您:

1. 鉴于文件较大，您应该考虑使用Google Cloud Storage。对于文件。您可以使用 GCS 提供的命令行实用程序将您的文件上传到您的存储桶。上传后，您可以直接使用 JSON API 来处理文件并将其导入数据存储层。查看以下内容:https://developers.google.com/storage/docs/json_api/v1/json-api-go-samples

2. 如果这类似于一次性导入大型文件，另一种选择可能是启动 Google Compute VM，在其中编写一个应用程序以从 GCS 读取数据并通过较小的 block 将数据传递给正在运行的服务在 App Engine Go 中，它可以接受并保存数据。