pandas - 从本地 Jupyter 笔记本访问 Google BigQuery 数据

Question

我已经准备了一些笔记本并正在 DataLab 上使用。出于各种原因，我希望从我的计算机上的本地 Jupyter 笔记本访问相同的数据。

This question建议了一些到目前为止我无法工作的方法。

特别是 Gcloud 库:

from gcloud import bigquery
client = bigquery.Client()

给我一​​个堆栈跟踪，其中最后一行:

ContextualVersionConflict: (protobuf 2.6.1 (/usr/local/lib/python2.7/dist-packages), Requirement.parse('protobuf!=3.0.0.b2.post1,>=3.0.0b2'), set(['gcloud']))

Pandas 库看起来很有前途:

df=pd.io.gbq.read_gbq('SELECT CCS_Category_ICD9, Gender, Admit_Month FROM [xxxxxxxx-xxxxx:xxxx_100MB_newform.xxxxxx_100MB_newform]ORDER by CCS_Category_ICD9',
                 project_id='xxxxxxxx-xxxxx')

还给我一个堆栈跟踪:

IOError: [Errno 2] No such file or directory: '/usr/local/lib/python2.7/dist-packages/httplib2-0.9.1.dist-info/METADATA'

尽管我的浏览器当前已通过该项目的身份验证，但也许我在 Pandas 方法上存在身份验证问题？或者我缺少依赖项？

任何建议或指导表示赞赏..

从本地 Jupyter 笔记本访问 BigQuery 数据源的最佳方式是什么？

Answer 1

根据 gbq.read() 的错误，看来 httplib2 可能未正确安装。关于 Pandas installation page ，有一些可选的依赖项是 Google BigQuery 支持所必需的(httplib2 就是其中之一)。要重新安装/修复安装，请尝试:

pip install httplib2 --ignore-installed

安装 Google BigQuery 支持的可选依赖项后，以下代码应该可以运行:

from pandas.io import gbq
df = gbq.read_gbq('SELECT * FROM MyDataset.MyTable', project_id='my-project-id')