performance - Loggly 的最大吞吐量是多少？

Question

Loggly 每秒可以处理多少来自客户端的请求？我每秒只能处理大约 10-20 个请求，我想知道这是否正常。

Answer 1

我刚刚运行了一系列测试，发现它无法通过使用 syslog-ng 的 tcp 连接真正处理很多事情。

这是我的测试结果，供任何想尝试的人使用。为此，我使用了 balabit 的“loggen”程序，并将 200 字节的消息发送到 loggly 分配给我的 tcp 端口。请注意，尽管系统日志 RFC(至少 3164)声明日志消息不应超过 1024 字节，但为了公平起见，我使用 200 字节的数据包，因为很多消息都这么小。

注册一个免费帐户。配置用于测试的 TCP 连接。尝试发送各种金额，结果:

测试 1:失败

loggen -iS -r 6000  -s 200 -I 100 logs.loggly.com 16225
Send error Broken pipe, results may be skewed.      
average rate = 1392.13 msg/sec, count=18296, time=13.142, (average) msg size=200, bandwidth=271.74 kB/sec

测试 2:失败

loggen -iS -r 4000  -s 200 -I 100 logs.loggly.com 16225 
Send error Broken pipe, results may be skewed.       
average rate = 2767.16 msg/sec, count=121146, time=43.779, (average) msg size=200, bandwidth=540.15 kB/sec

测试 3:失败

loggen -iS -r 2500  -s 200 -I 100 logs.loggly.com 16225  
Send error Broken pipe, results may be skewed.      
average rate = 1931.27 msg/sec, count=85878, time=44.467, (average) msg size=200, bandwidth=376.98 kB/sec

测试 4:失败

loggen -iS -r 2000  -s 200 -I 100 logs.loggly.com 16225    
Send error Broken pipe, results may be skewed.      
average rate = 1617.72 msg/sec, count=83134, time=51.389, (average) msg size=200, bandwidth=315.78 kB/sec

测试 5:失败

loggen -iS -r 1000  -s 200 -I 100 logs.loggly.com 16225 
Send error Broken pipe, results may be skewed.      
average rate = 936.50 msg/sec, count=63331, time=67.624, (average) msg size=200, bandwidth=182.81 kB/sec

测试 6:在配置的持续时间内通过，失败超过 100 秒 - 请参见测试 7

loggen -iS -r 500  -s 200 -I 100 logs.loggly.com 16225  
average rate = 325.00 msg/sec, count=32501, time=100.001, (average) msg size=200, bandwidth=63.44 kB/sec

测试 7:失败 - 以 500 EPS 运行新测试更长的时间，管道在 255 秒后破裂:

loggen -iS -r 500  -s 200 -I 10000 logs.loggly.com 16225
Send error Broken pipe, results may be skewed.     
average rate = 323.35 msg/sec, count=82642, time=255.577, (average) msg size=200, bandwidth=63.12 kB/sec

测试 8:失败(以 200 EPS 运行了更长时间，但仍然失败)

loggen -iS -r 200  -s 200 -I 10000 logs.loggly.com 16225 
Send error Broken pipe, results may be skewed.      
average rate = 163.53 msg/sec, count=234090, time=1431.470, (average) msg size=200, bandwidth=31.92 kB/sec

测试 9:失败(同样，运行时间更长但仍然失败)

loggen -iS -r 50  -s 200 -I 10000 logs.loggly.com 16225    
Send error Broken pipe, results may be skewed.    
average rate = 47.36 msg/sec, count=89325, time=1886.014, (average) msg size=200, bandwidth=9.25 kB/sec

测试 10:失败？ (相同的结果，但再次失去连接。很难相信他们不能处理 10 eps？)

loggen -iS -r 10  -s 200 -I 10000 logs.loggly.com 16225 
Send error Broken pipe, results may be skewed.  
average rate = 9.94 msg/sec, count=1568, time=157.770, (average) msg size=200, bandwidth=1.94 kB/sec

做了一些网络搜索以查看 loggly 实际可以做什么，但只有营销 Material 说它是可扩展的，而不是它的可扩展性。我确实找到了这个: http://twitter.com/jordansissel/status/5948244626509824每秒只有 22 个事件……

完全披露:我是 LogZilla 的创始人，所以我正在测试竞争对手，因为我们正在推出基于云的系统日志解决方案。我的测试表明，我们的软件每秒能够处理 2,000 到 12,000 个事件，具体取决于我们在云中使用的服务器。