hadoop - 带有 emrfs 的 hive

Question

我正在使用 sqoop 将表从 Amazon RDS 导入到 Hive。该进程正在运行，数据存储在配置单元默认的 hdfs 目录中:/user/hive/warehouse。

我需要将存储位置从 hdfs 更改为 emrfs s3。

据我了解，我需要将属性 hive.metastore.warehouse.dir 的值(在主节点上的 hive-site.xml 中)更改为 s3//bucket/warehouse-location。看来我没有修改文件 hive-site.xml 的权限。

我正在寻找一些关于如何最好地做到这一点的建议。

苏堤

Answer 1

您需要 sudo 权限才能修改主节点上的 hive-site.xml 文件(通常位于/etc/hive/conf/hive-site.xml)。

如果这不是一个选项，请尝试在集群启动之前设置此属性。 CloudFormation 示例:

                "Configurations" : [
                {
                    "Classification" : "hive-site",
                    "ConfigurationProperties" : {
                        "hive.metastore.warehouse.dir" : "s3://your_s3_bucket/hive_warehouse/",
                    }
                }
            ],

或通过“编辑软件设置”部分中的 EMR 对话框