java - 通过我的 Google 应用引擎应用程序将大型 excel 文件上传到 bigquery

Question

我想通过我的 Google 应用引擎应用程序将大型 Excel 文件上传到 Bigquery。现在我上传数据并使用 POI 读取数据，然后通过流式插入将数据插入到 Bigquery 中。如果我将其用于较大的 Excel 文件，这是不可能的，这肯定会花费超过 60 秒(DeadlineExceededException)。请提出完成此任务的正确方法。

提前致谢

Answer 1

当您遇到 appengine 请求的 DeadlineExceededException 时，通常表明您需要拆分该请求期间完成的工作。

如果我很好地理解了您的用例，您可以:

1) 分步骤进行拆分:上传、转换数据、插入 BigQuery。

2) 如果必须从客户端发送大量数据，请使用 Blobstore Java API .

3) 使用Task Queues用于其他耗时的工作。请注意，他们还有 10 分钟的截止时间。