gpt4 book ai didi

google-bigquery - 谷歌云数据流 : How to read data from a Database and write to BigQuery

转载 作者:行者123 更新时间:2023-12-03 05:32:07 25 4
gpt4 key购买 nike

我需要从一些源数据库(例如 Oracle、MySQL)设置数据管道并将数据加载到 BigQuery。

如何使用 google-cloud-dataflow 从数据库(jdbc 连接)读取数据并使用 Python 写入 BigQuery 表。

此外,我在本地 Hadoop 集群中有一些 Hive 表,如何将这些数据传输到 BigQuery。

我找不到正确的文档或示例来实现此目的。你能指出我正确的方向吗?

最佳答案

我在我的项目中应用了一个解决方案来提供这样的东西,您需要按照以下步骤操作:

  1. 按照此 link 将数据从 Google Cloud SQL 加载到 CSV 格式的 Google Cloud storage .

  2. 按照此 link 将 CSV 数据从 Google 云存储 直接加载到 BigQuery 中.

关于google-bigquery - 谷歌云数据流 : How to read data from a Database and write to BigQuery,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45020311/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com