java - BigQuery 分页 - 使用 pageToken 还是 startIndex？

Question

我将在 BiqQuery 中获取大约 500,000 到 1,000,000 行。我们将其限制为偏移量和最大值。在本例中，pageSize = max 和 startIndex = offset。

我们的数据每天只会处理一次，然后上传到 BigQuery。

文档建议使用pageToken而不是startIndex。我使用 pageToken 和 startIndex 进行了一些估计，但看不到任何时间差异。

我在 StackOverflow 找到了一个答案:

"You should use the page token returned from the original query response or the previous jobs.getQueryResults() call to iterate through pages. This is generally more efficient and reliable than using index-based pagination"

但是我不确信为什么我应该使用pageToken，那么我需要存储 token 以便在来回时使用它。从时间上看，我看不出有什么区别。

Answer 1

But I'm not convinced why I should use "pageToken"

两者之间有一些但很重要的区别

• 基于索引的分页 - 当您知道从查询中返回了多少条记录并且不考虑记录的大小时，这是很好的选择(这对于客户端应用程序很重要

• 页面 token - 结果集中的特定页面，不需要任何预先信息即可访问，例如结果的大小

因此，如果您知道有多少结果并且不关心页面大小，则可以使用基于索引的其他方式使用页面 token