python - 谷歌云存储 <-> 谷歌应用引擎 -> 谷歌 BigQuery

Question

我们正在开发一个项目来处理我们的日志数据。思路是

• 将日志数据从本地 logstash 更新到 Google Cloud Storage
• 编写 python 脚本以插入作业以从 Google 导入日志数据云存储到 Google BigQuery
• 编写 Python 脚本来处理 BigQuery 本身的数据

注意。对于 python 脚本，我们正在考虑是在 google app engine 上运行还是在 google compute engine 上运行。

问题是

• 这是切实可行的解决方案吗？
• 日志数据的结构经常变化，这会在插入到 BigQuery 时导致错误。我们将如何在 python 脚本中处理它？<​​/li>
• Incase，我们必须在特定时期重新运行日志数据。我们如何做到这一点？需要编写 Python 脚本吗？

谢谢

Answer 1

streaming data directly into BigQuery 有一个新的 API这可能更适合您的用例。

Instead of using a job to load data into BigQuery, you can choose to stream your data into BigQuery one record at a time by using the tabledata().insertAll() method. This approach enables querying data without the delay of running a load job. There are several important trade-offs to consider before choosing an approach.

如果您的数据结构发生变化，您可以让 BigQuery 运行其表并进行相应更新。流式传输原始数据将为您提供最大的灵 active ，但代价是必须再次对数据进行后处理的成本更高。