python - 为 google bigquery 构建一个 docker 镜像-6ren

python - 为 google bigquery 构建一个 docker 镜像

转载作者：行者123 更新时间：2023-12-02 02:52:23

25

4

我在 Google BigQuery 上有大量数据(数百千兆)，为了易于使用(许多查询后处理)，我正在使用 bigquery python 包。问题是，每当我关闭笔记本电脑时，我都必须再次运行所有查询，这非常昂贵，因为我的数据集大约为 1 Tera。我想到了谷歌计算引擎，但这是一个糟糕的解决方案，因为如果我不停止它们，我仍然会为我的机器付费。我的最后一个解决方案是在我们自己的沙箱上安装一个 docker 镜像，这更便宜，而且可以完全满足我的需求。所以我想知道是否有人为 BigQuery 安装了 docker 镜像？感谢您的帮助!

最佳答案

我们将所有 python/bigquery 项目安装到 docker 容器中，并将它们推送到谷歌云注册表。

可以使用 Google Cloud Composer (Airflow) 处理自动调度、依赖关系图和日志记录。设置起来非常简单，而且 Airflow 有一个 Kubernetes Pod Operator，它允许您指定一个 Python 文件以在 GCR 上的 docker 镜像中运行。您可以使用此工作流来确保您的所有查询和 Python 脚本都在 GCP 上运行，而无需担心 Google Compute Engine 或任何 DevOps 类型的事情。

https://cloud.google.com/composer/docs/how-to/using/using-kubernetes-pod-operator
https://cloud.google.com/composer/

关于python - 为 google bigquery 构建一个 docker 镜像，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/51703721/

25

4

0

文章推荐： haskell - Bifunctor 实例定义上的类型签名不匹配

文章推荐： pcre - 使用 PCRE 支持重建 uwsgi

文章推荐： Scala 有序优先级队列，始终以最低编号作为头，升序排列

文章推荐： SQLite 查询使用 TEMP B-TREE FOR ORDER BY 而不是索引

android - Gradle 构建 VS Eclipse 构建
我在使用 gradle 构建一个特定应用程序时遇到问题。该应用程序可以用 eclipse 编译和构建，它在平板电脑上运行良好。当我尝试使用 Gradle 构建它时，“compileDebugJava”
c - 构建 C 程序的最佳实践(用于 CMake 构建)
我有一个 C 程序，是一位离开的开发人员留给我的。我试图弄清楚他到底在做什么，并将软件重新安排成更合乎逻辑的东西，这样我就可以更轻松地构建它。我正在使用 CMake 构建，而他使用的是 Make。有
gradle - 尝试 Gradle 构建 - 在根项目中找不到 "Task ' 构建“
我刚开始阅读“Pro Spring MVC with web flow”，它附带了一个我想遵循的代码示例。我要什么 - 我想像书中那样构建应用程序，使用 Gradle 有什么问题 - 我没用过 Gr
javascript - Teamcity 上的 Angular-cli 构建(ng 构建)
我希望有人已经这样做了。我正在尝试为我的一个 angular 2 项目在 teamcity 中建立一个连续的构建。在做了一些研究之后，我按照以下步骤操作: 构建步骤 1:为 teamcity 安装 j
c# - 使用 MSBuild 构建 ASP.Net 网站不同于 Visual Studio 构建
我有一个旧的 ASP.Net 网站解决方案，看起来像: 当我在 Visual Studio 中构建解决方案时，我得到以下输出: ------ Build started: Project: C:\..
gulp-useref 构建 concat 脚本和 css 但不替换 <--!构建 --> 在 html 中
我使用 gulp-usref、gulp-if、gulp-uglify、gulp-csso 和 gulp-file-include 来构建我的应用程序。除了 HTML 保持原样外，构建中的一切都运行良好
ios - ionic 构建 ios 成功，但 ionic 构建 ios --release 失败
我正在使用 ionic2 开发内部移动应用程序。我可以通过以下方式成功构建 ios: ionic build ios and ionic build ios --prod 但当我这样做时，它一直失败
entity-framework - 构建/构建 Azure 移动应用服务 Entity Framework 代码优先和 .NET APK 项目
我是一位经验丰富的 .NET/C# 开发人员，但对这里的几乎所有技术/库(包括 SQL/DB 工作)都是新手。我正在开发一个具有 Azure/Entity Framework .NET 后端和可移植
visual-studio-2008 - 可以使用 Visual Studio IDE 构建，但无法使用 devenv.com 构建
我正在使用 VS 2008。我可以使用 IDE 成功编译我的解决方案。但是，当我尝试使用 devenv.com 构建它时，它失败并提示“错误:找不到项目输出组'(无法确定名称)的输出”。该组、其配置或
node.js - Ember.js 2.7 不使用 yarn 构建 - 使用 npm 构建
版本: ember.js 2.7，ember-data 2.7 ember-cli 2.9.1//同样适用于 ember-cli 2.7 node 6.9.1, npm 3.10.9//也适用于 no
f# - 如何使用 Azure Devops Pipelines 构建 F# 项目？我收到错误 'The target "构建“项目中不存在”
我第一次修补 AzureDevops，设置一些 CI 任务。我有一个公共(public)存储库(开源)和一个包含 3 个 F# 项目的解决方案(.sln)。该解决方案在 Windows/Mac/Li
visual-studio-2008 - 有没有人已经完成了使用 VS2008 构建 STLPort 和/或使用 VS2005 构建 x64 的工作？
目前 5.1.5 版本或 STLPort CVS 存储库似乎仍不支持 VS2008。如果有人已经完成了这项工作，那么如果可能的话，分享会很有用:) 同样，了解 VS2005 或 2008 x64 构建
python - 为 Python 3.5 构建 Fortran 扩展或为 2.7 构建 C 扩展
我有一个 Python 2.7 项目，到目前为止一直使用 gfortran 和 MinGW 来构建扩展。我使用 MinGW，因为它似乎支持 Fortran 代码中的写入语句和可分配数组，而 MSVC
PHP安装\构建
关闭。这个问题是off-topic .它目前不接受答案。想改进这个问题？ Update the question所以它是on-topic对于堆栈溢出。 9年前关闭。 Improve this que
构建 Zimbra
我想知道为什么在 Zimbra Wiki 中只列出了构建过程的特定平台。这意味着不可能在其他 Linux 发行版上构建 Zimbra？ Zimbra 社区选择一个特殊的 Linux 发行版来构建 Zi
从命令行快速主运行/构建
我将在 Swift 中构建一个 CLI 工具。我用这个命令创建了项目 swift package init --type executable当我构建我的项目并解析时读取别名 Xcode 中的参数并
构建 docker 镜像的文件所有权
我想为添加到 docker 镜像的文件设置文件权限。我有这个简单的 Dockerfile: FROM ubuntu:utopic WORKDIR /app RUN groupadd -g 1000 b
构建 opencl 内核失败
当我使用 clBuildProgram在我的 OpenCl 代码中，它失败并显示错误代码 -11，没有任何日志信息。这是我的代码的样子: ret = clBuildProgram(program
多次调用 Flutter 构建
我有一个底部导航栏，它有一个列表页面，该页面使用状态块。 class _MainPageState extends State { int _index = 0; @override Wi
windows - 将更改推送到Github时如何自动触发Jenkins作业/构建
我在本地计算机上使用Jenkins(Jenkins URL未通过Internet公开，但该计算机上已启用Internet。) 我进行了以下配置更改: 在Jenkins工具上安装了Git和Github插

首页

博学

6Ren·AI

商城

python - 为 google bigquery 构建一个 docker 镜像