google-bigquery - 如何在没有 ProtoBuf 格式错误的情况下将数据加载到 BigQuery？

Question

在 loading data into BigQuery ，我收到以下错误(从 BigQuery Web 控制台中的 Job History 复制)。

Errors:
query: Failed to load FileDescriptorProto for '_GEN_DREMEL_ONESTORE_METADATA_SCHEMA_': (error code: invalidQuery)
 Field numbers 19000 through 19999 are reserved for the protocol buffer library implementation.
 Field numbers 19000 through 19999 are reserved for the protocol buffer library implementation. 
 [... repeated a total of exactly 1000 times...]
 Field numbers 19000 through 19999 are reserved for the protocol buffer library implementation. 

 (error code: invalidQuery)

数据是数据存储托管备份。 (那个团队的人让我到 BigQuery 寻求帮助。)

错误发生在六种随机选择的种类中的一种；其他加载成功。此外，加载另一种 Kind 会出现错误“字段太多:10693(错误代码:无效)”。

失败的 Kind 和成功的 Kind 都有大约 15 GB 的数据大小。

我们可以做什么来加载这些数据？

Answer 1

这是由 BigQuery 的 limitation 引起的:每个表最多 10000 列。因此，在这种情况下，加载数据存储备份的实用程序根本不起作用。