amazon-ec2 - 用于Redis服务器的最佳EC2设置

Question

Closed. This question is off-topic。它当前不接受答案。












想改善这个问题吗？ Update the question，所以它是用于堆栈溢出的 on-topic。

7年前关闭。



Improve this question




我们正在部署仅使用Redis作为数据存储的大型Web应用程序。我注意到我们的Redis主服务器的基准在EC2上每秒大约有8000个事务，远远低于专用硬件上的基准。

我知道在像EC2这样的虚拟机上运行Redis会降低性能，但是我很喜欢那些在Red Hat EC2上的生产环境中部署Redis的人的一些建议，他们认为最有效的EC2设置可以充分利用Redis 。

谢谢。

最佳答案

EC2可能不是在虚拟化硬件上运行Redis的最佳环境，但它是一种流行的环境，要在此平台上从Redis中获得最佳 yield ，有很多要点。

我是http://redis.io/topics/benchmarks和http://redis.io/topics/latency的作者之一，涵盖了我在下面介绍的大多数主题。这只是要点的总结。

虚拟化费用

它不是特定于EC2，但是在VM上运行时，Redis的速度要慢得多(就最大支持吞吐量而言)。这是由于基本操作的事实，Redis不会为处理客户端连接(如memcached或其他有效的键/值存储)所需的epoll /读/写系统调用增加太多开销。在VM上，系统调用通常会比较昂贵，并且它们代表Redis Activity 的重要部分(尤其是在基准测试中)。在这种情况下，与裸机相比，最大吞吐量降低50％的情况并不罕见。

当然，这也取决于管理程序的质量。对于EC2，使用Xen。

处于良好状态的基准测试

基准测试可能很棘手，尤其是在EC2之类的平台上。通常忘记的一点是确保基准客户端和服务器的配置正确。例如，在将Redis服务器作为目标时，请不要在CPU不足的微实例上运行redis-benchmark(这可能会被Amazon降低)。这两台机器对于获得良好的最大吞吐量同样重要。

实际上，要评估Redis的性能，您需要:

在本地(与服务器在同一台计算机上)运行redis-benchmark，前提是您拥有多个vCPU内核。

(在不同的VM上)在QoS配置与服务器机器

等效的机器上远程运行redis-benchmark

因此，您可以评估和比较计算机和网络的性能。

在EC2上，第二代M3实例(或高内存或群集计算实例)将获得最佳结果，因此您可以受益于HVM(硬件虚拟化)，而不必依赖于较慢的半虚拟化。

fork 问题

这不是EC2特有的，而是Xen特有的:在Xen上派生大进程可能真的很慢(用kvm看起来更好)。对于Redis，如果您打算使用持久性，这将是一个大问题:两种持久性选项(RDB或AOF)都需要主线程派生并启动后台保存或重写进程。

在某些情况下，派生延迟可能会使Redis事件循环冻结几秒钟。 Redis实例管理的内存越多，延迟就越大。

在EC2上，请确保使用启用了HVM的实例(M3，高内存，群集)，这将缓解此问题。

然后，如果您有大量内存需求，并且您的应用程序可以忍受，请考虑在同一台计算机上运行几个较小的Redis实例，然后将数据分片。它可以将派生操作导致的延迟降低到可接受的水平。

持久性配置

这是从Redis(在VM和裸机上)获得良好性能的关键点。因此，请花一些时间仔细阅读 http://redis.io/topics/persistence

如果使用RDB，请记住，一旦分派(dispatch)了保存后台进程，内存写时复制机制将开始复制页面。因此，您需要确保Redis本身有足够的内存，并留有一定的余量来应对COW。额外的内存量取决于您的工作量。您在实例中写的越多，所需的内存就越多。

请注意，写入文件可能还会消耗一些内存(由于文件系统缓存)，因此在Redis后台保存期间，您需要考虑Redis内存，COW开销和转储文件的大小。

运行Redis服务器的计算机一定不能交换。如果这样做，结果将是灾难性的。与其他一些存储相反，Redis不是虚拟内存友好的。

在Linux中，请确保设置合理的系统参数:vm.overcommit_memory = 1和vm.swappiness = 0(无论如何还是很低的值)。不要使用旧的内核版本:它们在强制执行低交换性方面非常糟糕(导致写入大文件时进行交换)。

如果使用AOF，请查看fsync选项。这是原始性能和写入操作的持久性之间的折衷。您需要做出选择并定义策略。

您还需要熟悉EC2存储选项。在某些VM上，您可以在临时存储和EBS之间进行选择。在另一些情况下，您只有EBS。

临时存储通常更快，与EBS相比，您遇到的问题可能更少，但是在磁盘故障或主机重新启动等情况下，您可以轻松地丢失数据……您可以想象将RDB快照放在临时存储上，并且然后将结果文件复制到EBS目录，以在性能和健壮性之间进行权衡。

EBS是远程存储:它可能会占用分配给VM的标准网络带宽，并影响Redis的最大吞吐量。如果计划使用EBS，请考虑选择“EBS优化”选项，以在标准网络和存储链路之间建立QoS。

最后，对于具有EC2的性能要求很高的实例，一种非常常见的设置是停用主实例上的持久性，而仅在从实例上激活它。这对于数据来说可能不太安全，但是它可以防止主服务器上发生许多潜在的延迟问题。

关于amazon-ec2 - 用于Redis服务器的最佳EC2设置，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/11765502/

上一篇：ruby-on-rails - 将redis部署到heroku无法连接

下一篇：Redis:如何将 "normal"集与排序集相交？

相关文章：

transactions - 在 Redis 中，当存在没有关联的 EXEC 或 DISCARD 的 MULTI 时会发生什么？

linux - 以非 root 用户身份在 UserData 中运行命令

ssh - bitnami AMI 和 EC2 的权限被拒绝(公钥)

java - 如何从 ec2 实例重定向到我的 IP

linux - 从 EC2 同步到 s3 后如何删除文件

mongodb - 正在寻找 DynamoDB/MongoDB+Redis 组合？

redis - Redis 键中冒号的用途是什么

Redis LRU 以及让 key 单独过期？

linux - 在远程服务器上以不同用户身份自动运行脚本

wordpress - Redis 仅在数据库中使用 1 个键

Answer 1

EC2可能不是在虚拟化硬件上运行Redis的最佳环境，但它是一种流行的环境，要在此平台上从Redis中获得最佳 yield ，有很多要点。

我是http://redis.io/topics/benchmarks和http://redis.io/topics/latency的作者之一，涵盖了我在下面介绍的大多数主题。这只是要点的总结。

虚拟化费用

它不是特定于EC2，但是在VM上运行时，Redis的速度要慢得多(就最大支持吞吐量而言)。这是由于基本操作的事实，Redis不会为处理客户端连接(如memcached或其他有效的键/值存储)所需的epoll /读/写系统调用增加太多开销。在VM上，系统调用通常会比较昂贵，并且它们代表Redis Activity 的重要部分(尤其是在基准测试中)。在这种情况下，与裸机相比，最大吞吐量降低50％的情况并不罕见。

当然，这也取决于管理程序的质量。对于EC2，使用Xen。

处于良好状态的基准测试

基准测试可能很棘手，尤其是在EC2之类的平台上。通常忘记的一点是确保基准客户端和服务器的配置正确。例如，在将Redis服务器作为目标时，请不要在CPU不足的微实例上运行redis-benchmark(这可能会被Amazon降低)。这两台机器对于获得良好的最大吞吐量同样重要。

实际上，要评估Redis的性能，您需要:

在本地(与服务器在同一台计算机上)运行redis-benchmark，前提是您拥有多个vCPU内核。

(在不同的VM上)在QoS配置与服务器机器

等效的机器上远程运行redis-benchmark

因此，您可以评估和比较计算机和网络的性能。

在EC2上，第二代M3实例(或高内存或群集计算实例)将获得最佳结果，因此您可以受益于HVM(硬件虚拟化)，而不必依赖于较慢的半虚拟化。

fork 问题

这不是EC2特有的，而是Xen特有的:在Xen上派生大进程可能真的很慢(用kvm看起来更好)。对于Redis，如果您打算使用持久性，这将是一个大问题:两种持久性选项(RDB或AOF)都需要主线程派生并启动后台保存或重写进程。

在某些情况下，派生延迟可能会使Redis事件循环冻结几秒钟。 Redis实例管理的内存越多，延迟就越大。

在EC2上，请确保使用启用了HVM的实例(M3，高内存，群集)，这将缓解此问题。

然后，如果您有大量内存需求，并且您的应用程序可以忍受，请考虑在同一台计算机上运行几个较小的Redis实例，然后将数据分片。它可以将派生操作导致的延迟降低到可接受的水平。

持久性配置

这是从Redis(在VM和裸机上)获得良好性能的关键点。因此，请花一些时间仔细阅读 http://redis.io/topics/persistence

如果使用RDB，请记住，一旦分派(dispatch)了保存后台进程，内存写时复制机制将开始复制页面。因此，您需要确保Redis本身有足够的内存，并留有一定的余量来应对COW。额外的内存量取决于您的工作量。您在实例中写的越多，所需的内存就越多。

请注意，写入文件可能还会消耗一些内存(由于文件系统缓存)，因此在Redis后台保存期间，您需要考虑Redis内存，COW开销和转储文件的大小。

运行Redis服务器的计算机一定不能交换。如果这样做，结果将是灾难性的。与其他一些存储相反，Redis不是虚拟内存友好的。

在Linux中，请确保设置合理的系统参数:vm.overcommit_memory = 1和vm.swappiness = 0(无论如何还是很低的值)。不要使用旧的内核版本:它们在强制执行低交换性方面非常糟糕(导致写入大文件时进行交换)。

如果使用AOF，请查看fsync选项。这是原始性能和写入操作的持久性之间的折衷。您需要做出选择并定义策略。

您还需要熟悉EC2存储选项。在某些VM上，您可以在临时存储和EBS之间进行选择。在另一些情况下，您只有EBS。

临时存储通常更快，与EBS相比，您遇到的问题可能更少，但是在磁盘故障或主机重新启动等情况下，您可以轻松地丢失数据……您可以想象将RDB快照放在临时存储上，并且然后将结果文件复制到EBS目录，以在性能和健壮性之间进行权衡。

EBS是远程存储:它可能会占用分配给VM的标准网络带宽，并影响Redis的最大吞吐量。如果计划使用EBS，请考虑选择“EBS优化”选项，以在标准网络和存储链路之间建立QoS。

最后，对于具有EC2的性能要求很高的实例，一种非常常见的设置是停用主实例上的持久性，而仅在从实例上激活它。这对于数据来说可能不太安全，但是它可以防止主服务器上发生许多潜在的延迟问题。