gpt4 book ai didi

azure - Azure 上的 Hadoop 使用 IaaS

转载 作者:可可西里 更新时间:2023-11-01 14:46:22 25 4
gpt4 key购买 nike

我正在考虑使用 Azure 中的虚拟化环境设置 Hadoop 集群以进行大数据分析。由于数据量非常大,我正在考虑将数据存储在 Azure Data Lake Store 等辅助存储中,而 Hadoop 集群存储将充当主存储。我想知道,如何配置,以便当我创建Hive表和分区时,部分数据可以驻留在主存储中,其余数据可以驻留在辅助存储中?

谢谢问候,马杜

最佳答案

默认情况下,您不能将文件系统与 Hive 表混合使用。 Hive 元存储仅包含一个用于数据库/表定义的文件系统位置。

您可以尝试使用Waggle Dance设置联合 Hive 解决方案,但这可能比简单地允许 Hive 数据存在于 Azure 中需要更多的工作

关于azure - Azure 上的 Hadoop 使用 IaaS,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48468187/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com