python - 将 Google Cloud Storage 数据加载到 bigtable 中

Question

有没有简单的方法或示例将 Google Cloud Storage 数据加载到 bigtable 中？

我有很多由 pyspark 生成的 json 文件，我希望将数据加载到 bigtable 中。

但我找不到简单的方法来做到这一点!

我已经尝试过 google-cloud-python 中的 python 代码它工作正常，但它只是将数据逐行读取到bigtable中，这对我来说很奇怪。

任何帮助将不胜感激。

Answer 1

没有简单的工具可以读取 Cloud Bigtable 中的数据。以下是一些选项:

1. 使用 Dataflow 导入文件。这需要java开发，并学习Dataflow编程模型。
2. 使用 Python(可能与 Pyspark 一起)读取这些 json 文件，并使用名为 mutate_rows 的方法写入 Cloud Bigtable批量写入 Bigtable。

仅供引用，我在 Cloud Bigtable 团队工作。我是一名 Java 开发人员，所以我选择#1。我们的团队一直致力于改善我们的 Python 体验。扩展团队最近添加了一些可靠性改进，以确保 mutate_rows 对于大型作业具有弹性。我们还没有任何与 PySpark 或 Apache Beam's python SDK 集成的好例子，但它们在我们的雷达范围内。