gpt4 book ai didi

python - TensorFlow 数据验证和 BigQuery

转载 作者:太空宇宙 更新时间:2023-11-04 02:08:31 24 4
gpt4 key购买 nike

我想使用 TensorFlow Data Validation 来分析和验证数据以输入我的 ML 模型。但是,我的原始数据表位于 BigQuery(超过 30gb)上,我无法将其作为 pandas 数据框加载。

如何将数据从 Bigquery 加载到我的笔记本中,以便使用 TensorFlow Data Validation 对其进行分析?

我想我可能会使用 Dataflow,但我可以找到一个合适的例子

最佳答案

将所有内容加载到 TFRecord 文件中,然后将其传递给 TF 数据验证。

Here您可以找到一个示例,其中他们将数据从 BigQuery 加载到 TFRecord(他们使用 Apache Beam)。

关于python - TensorFlow 数据验证和 BigQuery,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54149797/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com