PHP memcache::addServer, 权重

Question

我的问题与 PHP Memcache 扩展的 addServer 函数中的“weight”参数有关。
在过去的几个月里，我一直在为所有服务器使用“weight = 1”。我现在正在尝试应用以下配置以最终从轮换中删除“10.10.10.3”并最大程度地减少数据丢失。
有了新的权重值，我的 PHP 客户端无法检索它过去能够获取的键的值。如果我恢复为“weight = 1”，则可以毫无问题地获取所有 key 。

为了正确使用“Memcache::addServer”的“重量”选项，是否有配置或任何我遗漏的东西？

感谢您的帮助。

 $hosts = array(
      array('ip' => '10.10.10.1', 'port' => 11211, 'weight' => 100),
      array('ip' => '10.10.10.2', 'port' => 11211, 'weight' => 100),
      array('ip' => '10.10.10.3', 'port' => 11211, 'weight' => 1),
      array('ip' => '10.10.10.4', 'port' => 11211, 'weight' => 100),
 );

 $memcache = new Memcache();
 foreach($hosts as $host) {
    $host['port'] = isset($host['port']) ? (int) $host['port'] : 11211;
    $host['weight'] = isset($host['weight']) ? (int) $host['weight'] : 1;
    $memcache->addserver($host['ip'], $host['port'], false, $host['weight'], 1, 15);
 }

---

PHP 版本 = 5.3.10

内存缓存 PHP 变量
- 内存缓存支持 => 启用
- memcache.allow_failover => 1 => 1
- memcache.chunk_size => 32768 => 32768
- memcache.compress_threshold => 20000 => 20000
- 内存缓存.default_port => 11211 => 11211
- memcache.hash_function => crc32 => crc32
- memcache.hash_strategy => 一致 => 一致
- memcache.lock_timeout => 15 => 15
- memcache.max_failover_attempts => 20 => 20
- memcache.protocol => ascii => ascii
- 内存缓存冗余 => 1 => 1
- memcache.session_redundancy => 2 => 2

Memcached 版本
10.10.10.1/10.10.10.2/10.10.10.3 正在运行 1.4.5
10.10.10.4 正在运行 1.4.4

Answer 1

权重参数影响用于确定从哪个服务器读取/写入 key 的一致性哈希。更改池中任何 1 个服务器的权重将导致一些缓存未命中。池中的服务器数量和您更改权重的程度将影响您可能遇到的未命中次数。

您需要了解的是，memcached 是分布式的，这意味着由于您有 4 个服务器，因此 key 在每个服务器之间分布(尽可能接近均匀 [权重将影响均匀分布])。如果一台服务器出现故障，存储在该服务器上的数据将无法再访问，并且必须从数据库中获取，因为它在任何其他服务器上都不可用。 *请注意，PHP 扩展 memcache 和 memcached 只是访问 memcached 集群的客户端(memcached 是两者中较新的一个，支持更多功能，但两者都与 memcached 集群中的服务器通信)。

当你想从缓存中存储或检索一个值时，会计算一个哈希值，它决定了数据应该放在集群中的哪个位置或从中读取。说明这一点的常用方法是使用 360 度圆，如下所示。您计算一个散列，并使用它在圆圈中“最接近”的节点。添加或删除服务器，或更改任何一台服务器的权重都会影响散列的结果并导致未命中。

来源:http://alpha.mixi.co.jp/blog/?p=158

如果你想慢慢地从集群中淘汰一个服务器，我建议逐渐减少它的权重直到它为 0，然后你就可以从列表中完全删除该服务器。请记住，权重的任何微小变化都可能/将导致缓存未命中，但权重变化的幅度(以及您拥有的服务器数量)会影响您将经历的缓存未命中数。

这是来自 Memcached tutorial story 的片段这也可能有助于解释其中的一些原因。

前言是两个系统管理员建立了一个有3台服务器的memcached集群，并告诉memcached在每台服务器上使用1GB...

So again, he takes keys that the Programmer uses and looks for them on his memcached servers. 'get this_key' 'get that_key' But each time he does this, he only finds each key on one memcached! Now WHY would you do this, he thinks? And he puzzles all night. That's silly! Don't you want the keys to be on all memcacheds?

"But wait", he thinks "I gave each memcached 1 gigabyte of memory, and that means, in total, I can cache three gigabytes of my database, instead of just ONE! Oh man, this is great," he thinks. "This'll save me a ton of cash. Brad Fitzpatrick, I love your ass!"

"But hmm, the next problem, and this one's a puzzler, this webserver right here, this one runing memcached it's old, it's sick and needs to be upgraded. But in order to do that I have to take it offline! What will happen to my poor memcache cluster? Eh, let's find out," he says, and he shuts down the box. Now he looks at his graphs. "Oh noes, the DB load, it's gone up in stride! The load isn't one, it's now two. Hmm, but still tolerable. All of the other memcacheds are still getting traffic. This ain't so bad. Just a few cache misses, and I'm almost done with my work. So he turns the machine back on, and puts memcached back to work. After a few minutes, the DB load drops again back down to 1, where it should always be.

"The cache restored itself! I get it now. If it's not available it just means a few of my requests get missed. But it's not enough to kill me. That's pretty sweet."

原则是，存储在 memcached 中的值仅存储在一台服务器上(即 key 分布在所有服务器中)，如果其中任何一台服务器不可用，则无法从缓存中获取数据，必须获取数据来自源头。

为了在集群中的正确节点上正确存储和检索数据，键必须是 consistently hashed所以客户端知道哪个服务器是池中那个特定 key 的正确服务器。

您可能会猜到，不同的客户端使用不同的散列技术，因此使用 Perl 客户端和 PHP 客户端存储/检索值将无法按预期工作，因为它们的散列不同。异常(exception)情况是使用 libmemcached 的任何客户端从那时起，他们都将使用相同的哈希算法。 PHP 的 memcached扩展使用 libmemcached，其中 memcache不使用它自己的哈希算法(据我所知)。

延伸阅读:
- memcached wiki和 adventure in learning memcached
- Consistent Hashing
- Distributed Hash Tables