python - BigQuery 结果不包含页面 token

Question

我们正在开发 pandas.io.gbq，我们注意到大型结果集存在一些异常行为。该代码的工作原理大致如下(其中 bq 来自 bq.py )。前几页数据返回有效的 pageToken，但之后每页均不返回。可以在以下位置查看返回的 JSON 的修剪副本: https://gist.github.com/jacobschaer/8309204

import bq
import bigquery_client
#.
#.
#.
client = bq.Client.Get()
kwds = {'timeoutMs': 0, u'projectId': u'xxxxxxx', 'startIndex': 0, 'maxResults': 1000000, u'jobId': u'bqjob_r36320b28158a7c96_000001436eb0431c_1'}
data = client.apiclient.jobs().getQueryResults(**kwds).execute()

这可能与:BigQuery paging issues with tableData.list()有关

最终，我们会在结果集中出现重复项。

Answer 1

我可以帮你查清真相。上面的代码片段启动了获取第一组查询结果的操作，并且应该生成一个页面 token 。听起来您在后续通话中遇到了问题 - 您能告诉我您是如何进行后续通话的吗？

您能否也为我澄清一些事情，您还提到前几页返回有效的页面 token ，然后每隔几页不返回任何内容。您的意思是您获得的页面根本不包含页面 token 吗？或者您的意思是有些页面包含有效的页面 token 但没有结果？