amazon-web-services - Docker上的ElasticSearch:如何使用AWS持久化数据

Question

我正在尝试在Docker(实际上在AWS ECS)上运行ElasticSearch。如果我没有配置该卷，则它可以正常工作，但是每次重新启动容器时，我都会丢失所有数据。
我不知道如何配置音量。

我尝试了什么:

在任务定义中的

我配置了卷“Name = esdata1”和“source path = / usr / share / elasticsearch / data”

我在“存储和日志记录”部分的容器定义中添加了

，我将安装点配置为“源卷= esdata1”和“容器路径= / usr / share / elasticsearch / data”。

现在，当我启动容器时，当elasticsearch尝试写入“/ usr / share / elasticsearch / data”时，它将失败并显示错误“访问被拒绝”。因此，在“安全性”部分中，我配置了“user = ec2-user”，但随后容器甚至无法启动(停留在“status = created”中)。我该怎么办？我想这个问题是由于容器的用户必须与主机上的用户相同。主机上的用户是“ec2-user”，我不知道该如何继续。

编辑:

现在，我可以使用以下配置来保留数据:

docker inspect:

"Mounts": [
            {
                "Name": "elasticsearch_data",
                "Source": "/var/lib/docker/volumes/elasticsearch_data/_data",
                "Destination": "/usr/share/elasticsearch/data",
                "Driver": "local",
                "Mode": "z",
                "RW": true,
                "Propagation": "rprivate"
            }
        ]

现在，如果我停止容器或重新引导主机，则数据仍然存在。我唯一的最后一个担心是，该文件夹“/ var / lib / docker / volumes / elasticsearch_data / _data”位于操作系统卷上，而不是在较大的Docker卷上。从 Aws doc:

Amazon ECS-optimized AMIs from version 2015.09.d and later launch with an 8 GiB volume for the operating system that is attached at /dev/xvda and mounted as the root of the file system. There is an additional 22 GiB volume that is attached at /dev/xvdcz that Docker uses for image and metadata storage. The volume is configured as a Logical Volume Management (LVM) device and it is accessed directly by Docker via the devicemapper back end.

如何在/ dev / xvdcz上保留数据？

非常感谢

Answer 1

您的sourcepath是主机实例上写入数据的路径。在您的情况下elasticsearch_data。您需要将sourcepath指向存在的文件夹，该文件夹位于EC2实例上所需的磁盘上。

因此，将EBS磁盘连接到实例。将磁盘安装在/data/es之类的位置，并将源路径设置为该文件夹。

但是请记住，要正确运行ES，您可能需要连接的计算机集群和自动备份。如果您计划托管关键数据，请考虑使用Amazon的托管ES。听起来您在这里没有一个非常强大的设置。