个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
24
4
我正在为专业数据工程师学习，我想知道 Dataproc 上的热门数据的“Google 推荐的最佳实践”是什么(考虑到成本无关紧要)？
如果成本是一个问题，那么我建议将所有数据保存在 Cloud Storage 中，因为它更便宜。
是否可以建立一种机制，使所有数据都在 Cloud Storage 上，而最近的数据会自动缓存在 HDFS 上？类似于 AWS 对 FSx/Lustre 和 S3 所做的事情。
最佳答案
在 HDFS 中存储什么以及在 GCS 中存储什么是一个视情况而定的问题。 Dataproc 支持在 GCS 上运行 hadoop 或 spark 作业 GCS connector ，这使得 Cloud Storage HDFS 兼容而不会损失性能。
Cloud Storage 连接器默认安装在所有 Dataproc 集群节点上，并且可用于 Spark 和 PySpark 环境。
关于google-cloud-dataproc - Cloud Storage 上的 Dataproc : Hot data on HDFS, 冷数据？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/60607667/
24
4
0
我有一个初始化脚本，它从我们的本地工件存储库下载一个 .jar，并将其放入集群上每个节点上的 /usr/local/bin 中。我可以使用 运行它 gcloud dataproc jobs submi
我创建了一个简单的管道，它从 SQL Server 表读取并写入 BigQuery 表。然后我将其配置为使用 Spark 并部署和运行。它首先配置 dataproc 集群，我可以看到它相对快速地创建了
我正在尝试使用云指标监控 Dataproc 2.0 上的本地磁盘使用情况(百分比)。这对于监视 Spark 临时文件填满磁盘的情况很有用。 默认情况下，Dataproc 似乎只发送本地磁盘性能指标、C
我希望在我的 dataproc 集群的每个节点上设置一个环境变量，以便它可用于将在该集群上运行的 pyspark 作业。做这个的最好方式是什么？ 我想知道是否有办法使用 Compute Engine
我正在尝试在 Dataproc 工作流模板中设置自动区域放置 我正在尝试在 Dataproc 工作流模板中设置自动区域放置，就像在 create a cluster 时所做的一样没有模板工作流 谷歌云
我正在考虑运行一个托管 Hive 服务器的持久性 GCP Dataproc 集群，该集群将提供 HiveQL 接口(interface)，用于查询和更新存储在 Google Cloud Storage
刚开始熟悉 GCP dataproc。我注意到当我使用 gcloud dataproc jobs submit pyspark 时，作业是使用 spark.submit.deployMode=clie
我正在运行 PySpark 作业，但我无法确定工作进程失败的原因。 当我的作业正在运行时，我开始注意到作业输出中的堆栈跟踪，例如: 16/04/10 03:24:21 WARN org.apache.
我正在考虑运行一个托管 Hive 服务器的持久性 GCP Dataproc 集群，该集群将提供 HiveQL 接口(interface)，用于查询和更新存储在 Google Cloud Storage
我正在尝试使用初始化脚本设置集群，但出现以下错误:[错误的 JSON:JSON 解析错误:意外的标识符“Google”]在日志文件夹中，初始化脚本输出日志不存在。这看起来很奇怪，因为它似乎在上周工作，
dataproc spark 作业日志位于何处？我知道“日志记录”部分下有来自驱动程序的日志，但是执行节点呢？另外，Spark 正在执行的详细步骤记录在哪里(我知道我可以在 Application M
我在 1 个集群上使用 Dataproc 和 1 个作业。 我想在创建集群后立即开始我的工作。我发现实现此目的的最佳方法是使用如下初始化脚本提交作业。 function submit_job() {
如何将参数传递到 dataproc pyspark 作业提交中调用的 python 脚本中？这是我一直在使用的命令: gcloud dataproc jobs submit pyspark --cl
Dataproc 没有与 Apache Ranger 和 Apache Sentry 的内置集成。那么Hive中推荐的用户授权方式是什么？ 我是 Dataproc 的新手，您的回答真的很有帮助。 最佳
我使用 mysql 客户端从 dataproc 的主节点登录到 mysql 服务器，但现在失败了。 使用以下命令 mysql -uroot -p 我现在看到以下错误消息。 mysql: [Warnin
我想使用 Jupyter/iPython在 Cloud Dataproc .如何在创建新集群时自动安装和配置它？ 最佳答案 Cloud Dataproc 团队有一个 GitHub repository
调试很慢。不清楚是否接受多个参数。文档字符串错误/不标准。 例如我们可以这样做: --initialization-actions a b c 当它失败时，如何在几秒钟而不是几分钟内调试......即
在创建我们的 Dataproc Spark 集群时，我们通过--properties spark:spark.jars.packages=mysql:mysql-connector-java:6.0.
我正在使用 Dataproc 工作流模板来运行 Sparkjob。我想将输入文件动态传递给 Sparkjob args，同时通过 Dataproc 工作流模板实例化它。我怎样才能实现它？ 最佳答案 见
我运行多个批处理作业，我想将 dataproc 中的 jobId 引用到保存的输出文件中。 这将允许所有参数日志和与结果相关的输出。缺点仍然存在:随着 YARN 中的执行器消失，无法再获取单个执行器的
我是一名优秀的程序员,十分优秀！