python - BigQuery : Jobs resource are 200 OK and "outputRows": 584, 但数据不在 BigQuery 表中

Question

我有一个 Python 脚本，它从许多资源下载文件，然后这些文件在经过一些处理后上传到 Google Cloud Storage Bucket，这些文件从那里加载到相关的 BigQuery 表中。

我有一个 cronjob 每 15 分钟运行一次这个脚本，工作完美，但有时，比如一周一次，我遇到 16 个文件中只有一个文件的问题。

问题是从脚本的日志来看一切似乎都很完美。文件被下载处理上传到加载到 Bigquery 的存储桶。当我检查来自 Google rest v2 的工作资源时，工作得到(https://cloud.google.com/bigquery/docs/reference/rest/v2/jobs/get)状态为 200 OK 并且 “outputRows”:584，但数据不在 BigQuery 表中

当我从下载文件的位置将该文件重新上传到我的资源中时，文件就会上传，并且可以在 BigQuery 表中看到数据。

谁能帮我解决这个问题？

Answer 1

(此处为 BigQuery Dev - 评论点数不足)我的假设是，也许你们的工作正在覆盖彼此的输出。如果您在 Issue Tracker 提交错误，我们将能够查明真相。在您遇到此问题后，您发现成功但找不到应该加载的数据的作业的项目 ID 和作业 ID。还请详细说明您期望那里有哪些数据以及您如何验证它不存在(例如，如果您运行查询，请同时包含查询的作业 ID)。