mysql - aws emr hive 元存储配置 hive-site.xml

Question

我正在尝试配置 hive-site.xml 以使 MySQL 位于 EMR 上的本地 MySQL 之外。如何修改现有集群配置以从 S3 添加 hive-site.xml？

http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-dev-create-metastore-outside.html

Answer 1

我不确定“从 S3 添加 hive-site.xml”是什么意思。如果您只是想将文件从 S3 取出并放入 conf 目录中，则可以在登录集群时使用 aws-cli 来执行此操作，

aws s3 cp s3://path/to/hive-site.xml ~/conf

有关将现有 EMR 集群的 Hive MetaStore 迁移到 RDS 等外部服务的更详细说明如下

--

设置现有 EMR 集群来查看外部 MySQL 数据库非常简单。首先，您需要转储主节点上运行的 MySQL 数据库以保留现有架构信息。假设您有大量临时存储并且您的数据库套接字位于 /var/lib/mysql/mysql.sock:

mysqldump -S /var/lig/mysql/mysql.sock hive > /media/ephemeral0/backup.sql

然后您需要将其导入到您的外部 MySQL 实例中。如果这是在 RDS 中，您首先需要创建 hive 数据库，然后将数据导入其中:

mysql -h rds_host -P 3306 -u rds_master_user -prds_password mysql -e "create database hive"

并且，

mysql -h rds_host -P 3306 -u rds_master_user -prds_password hive < /media/ephemeral0/backup.sql

接下来，您需要创建一个用户供 hive 使用。登录到您的外部 MySQL 实例并执行以下语句(使用更好的用户名和密码):

grant all privileges on hive.* to 'some_hive_user'@'%' identified by 'some_password'; flush privileges;

最后，按照您引用的文档中的概述创建/对 hive-site.xml 进行相同的更改(填写正确的主机、用户和密码信息)，然后重新启动您的 MetaStore。要重新启动 MetaStore，请终止已经运行的 MetaStore 进程并启动一个新进程。

ps aux | grep MetaStore
kill pid
hive --service metastore&