google-bigquery - BigQuery 是否有一个 api 来返回导出表的校验和

Question

我正在寻找是否有一种方法可以获得可以从 google bigquery 导出的文件(或表)的校验和。

示例假设我导出(或下载)了一个名为来自 bigquery 的 daily-record-2018-07-10，bigquery 是否有办法为我们提供一些校验和(比如 sha1，md5 等)，以便我们可以在开始处理这些文件之前预先计算这些校验和

这样做的原因是为了确保我们在下载(或导出)表格时不会丢失任何信息。我们确实在网络上丢失了一些信息，然后我们可以预先计算校验和并再次尝试导出表。

Answer 1

听起来问题可能是关于如何对一个文件进行校验和，我相信有很多关于这方面的资源，但是如果您想对存储在 BigQuery 中的表进行校验和，您可以使用这种形式的查询:

SELECT BIT_XOR(FARM_FINGERPRINT(TO_JSON_STRING(t)))
FROM MyTable AS t

这会将每一行转换为字符串表示形式、哈希，然后对结果进行异或以生成整个表的校验和。您也可以在外部表(例如云存储或云端硬盘上的文件)上使用它。