个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
24
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章剖析美团内部所采用的网站压力测试方案由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
美团内部的rpc服务大多构建在thrift之上，在日常开发服务的过程中，需要针对这些服务进行压力测试（以下简称压测）来发现潜在问题。常用的方法有:
1.使用一些脚本语言如：python、ruby等，读取线上日志构建请求，用多线程模拟用户请求进行压测 2.使用开源工具进行压测 然而，无论采取哪种方法，压测都是一个十分耗时而又繁琐的过程，主要痛点有:
需要写很多代码解析日志，还原请求，对于比较复杂的请求，解析很容易出错 需要搭建脚本或者工具的运行环境，通常这一过程比较耗时 由于打压方法没有统一，导致打压的结果指标比较混乱，有的结果甚至以终端输出的方式展示，非常不直观 对一个应用的打压测试，由于环境、代码的问题，导致组内同学很难共享 针对上述问题，提供一个简单好用的压测工具是十分有必要的.
是否有必要重复造轮子 在构建压测工具之前，对于一些现有的开源工具进行了调研。现在主流的压测工具主要有以下几个:
jmeter jmeter是一个比较老牌的压测工具，主要针对http服务进行打压，该工具在以下方面并不满足美团内部的压测需求:
1.默认不支持thrift的打压测试 2.需要本地安装，并且配置复杂 3.对于用户操作并不友好 。
twitter/iago 是一个由twitter开源的压测工具，支持对http、thrift等服务进行压测，其主要问题如下:
对每个压测应用都需要创建一个项目 压测结果并不直观 流量重放依赖本地文件 项目依赖于一个较老版本的scala，搭建不便 相关文档比较少 除此之外，当时还考察了gatling、grinder、locust 等一些常见的压测工具，都因为适用场景和美团的需求有些出入而排除了.
综上，针对当前压测工具的一些现状，构建一个简单易用的压测工具还是很有必要的.
目标 针对之前提到的痛点，新的压测工具主要提供以下功能:
线上流量拷贝 1.简单易用的操作界面（接入压测的时间应该控制在1小时以内） 2.清晰的图表能反映压测应用的各项指标 3.满足包括thrift、http等服务的压测需求 。
如何构建 抽象 目标已经明确，怎么实现呢？首先是抽象压测的过程。 一个典型的压测过程如图所示，首先在init方法里面，进行一些初始化的工作，比如连接数据库，创建客户端等。接下来，在run方法里面发出压测请求，为了保证能够对服务产生足够的压力，这里通常采用多线程并发访问，同时记录每次请求的发起时间和结束时间，这两个时间的简单相减就能够得到每次请求的响应时间，利用该结果就可以计算出tp90、平均响应时间、最大响应时间等指标，等压测结束后，通过destroy方法进行资源回收等工作.
以上过程可以用接口表示，无论是压测thrift服务还是http服务，本质上都是这三个方法实现的不同。考虑到压测工具的灵活性和通用性，压测工具可以将这个接口交给打压测试的同学实现，而压测工具则重点实现多线程打压，打压结果的聚合等比较耗时的工作。 。
代码如下
。
拷贝流量 thrift服务打压的难点之一就是如何简单地拷贝线上真实流量用来构建打压请求。一些大型的thrift服务数据结构非常复杂，写打压脚本的时候需要很多代码来解析日志，而且容易出错。 因此提供一个简单好用的拷贝流量方法是十分有必要的.
在这里压测工具提供了一个叫vcr（录像机）的工具来拷贝流量。vcr能够将线上的请求序列化后写到redis里面.
考虑到用户需要查看具体请求和易用性等需求，最终选取了json格式作为序列化和反序列化的协议。同时需要部署在生产环境，为了降低对线上服务的影响，这里采取了单线程异步写的方式来拷贝流量.
聚合数据 应用打压完成后，需要一些指标来评估压测结果，常见的指标有:
1.最大响应时间 2.平均响应时间 3.qps 4.tp90 5.tp50 压测工具采用了 influxdb 来完成数据的聚合工作。 以tp90为例子，仅需要一行查询就能实现需求.
select percentile(response_time, 90) from test_series group by time(10s) 。
。
架构 整体而言，整个打压过程如下:
实践 拷贝流量 美团内部的服务大多使用java来构建，vcr以maven package的方式提供给用户.
对用户来说只需要2行代码可以拷贝流量.
为了不影响线上服务，通常选取单台机器进行流量拷贝工作.
public class testapprpc implements testapp.iface { 。
。
private vcr _vcr = new vcr("testapp"); // 指定拷贝流量的key 。
。
@override 。
public testresponse echo(testrequest req) throws texception { 。
_vcr.copy(req); // 拷贝操作 。
long start = system.currenttimemillis(); 。
testresponse response = new testresponse(); 。
return response; 。
} 。
} 。
一旦流量拷贝完成后，通过web界面，用户能够查看日志的收集情况和单条日志的详情.
压测逻辑实现 压测工具采用groovy来进行编写。对每个应用来说，只需要实现runner接口就可以实现对应用的打压。 。
代码如下
以thrift服务为例:
。
class testservicerunner implements runner { 。
。
rpcservice.client _client 。
ttransport _transport; 。
。
@override 。
def init(test app) { 。
def conf = app.config // 读取应用配置 。
_transport = new tframedtransport(new tsocket(conf.get("thrift_service_host") as string, conf.get("thrift_service_port") as int)) 。
tprotocol protocol = new tbinaryprotocol(_transport) 。
_client = new rpcservice.client(protocol) 。
_transport.open() 。
} 。
。
@override 。
def run(test app, string log) { 。
testrequest req = vcr.deserialize(log, testrequest.class) // 将拷贝流量反序列化 。
_client.echo(req) // 发送请求 。
} 。
。
@override 。
def destroy(test app) { 。
_transport.close() // 关闭服务 。
} 。
} 。
创建应用 实现以上接口后，就可以对应用进行打压了.
用户可以通过web界面创建应用，除了必填配置以外，用户可以按照应用灵活配置.
性能指标 用户可以通过直观的图表来查看应用的各种性能指标.
。
结束语 压测工具上线以来，已经接入了20多个应用，完成数百次打压实验，现在应用的接入时间仅需要15～30分钟。保证了美团服务的稳定和节省了开发同学的时间，使大家告别了以往繁琐冗长的打压测试.
欢迎对这方面有兴趣的同学一起讨论.
最后此篇关于剖析美团内部所采用的网站压力测试方案的文章就讲到这里了,如果你想了解更多关于剖析美团内部所采用的网站压力测试方案的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
24
4
0
已关闭。此问题旨在寻求有关书籍、工具、软件库等的建议。不符合Stack Overflow guidelines .它目前不接受答案。 我们不允许提问寻求书籍、工具、软件库等的推荐。您可以编辑问题，以
我在 tomcat 服务器上部署了一个 Web 应用程序。我通过 POST 方法上传文件，然后上传文件被转码为另一种类型(例如 3gp 到 flv)。我如何测试，有多少并发上传和转码我的 Web 应用
我想知道是否有任何方法可以获取单击时的压力级别(用户单击鼠标键/按钮时产生的压力)。有资源或链接吗？ 抱歉我的英语不好，希望我的问题很清楚，希望不仅仅是乌托邦! 最佳答案 我意识到我正在用一些当时不相
我写信是为了问一个关于 WCF 性能的问题。 1。背景 我们有一个在 .NET 3.5 上运行的客户端-服务器系统。服务器是 C# 服务，客户端是 silverlight 应用。 我写了一个压力测
我想编写一份包含 NMS 排序的报告。我想在报告中包含代码，但不包含运行压力。 我试过 message=FALSE, warning=FALSE, results='hide' 但它仍然包含在报告中。
我今天第一次尝试使用 cassandra-stress 工具。尽管我能够运行该工具，但输出中会显示很多“无法通过 JMX 连接；未收集这些统计信息”消息 命令 cassandra-stress use
关闭。这个问题需要多问focused 。目前不接受答案。 想要改进此问题吗？更新问题，使其仅关注一个问题 editing this post . 已关闭 9 年前。 Improve this ques
我希望通过一遍又一遍地不断访问网址列表来模拟网络服务器上的重负载! 最初，我计划使用 wget/curl 编写一个简单的脚本，但由于该站点使用大量 ajax 请求来完成大部分繁重的工作，因此这不是一个
我最近创建了一个回合制游戏服务器，可以接受数以万计的同时客户端连接(长话短说 - Linux 上的 epoll)。通信基于简单、自定义、基于线路的协议(protocol)。该服务器允许客户端连接、寻找
Stress-ng:我们可以使用stress-ng测试RAM吗？用于在 MIPS 32 设备上测试 RAM 的命令是什么？ 最佳答案 在stress-ng中有许多基于内存的压力源: stress-ng
我正在 iPhone 上测试我的简单 OpenGL ES 实现(2D 游戏)，并且在使用分析器时我注意到渲染利用率很高。这些是事实: 我以 60 fps 的速度仅显示一个预加载的大型纹理(512x51
我正在 canvas 上编写应该支持平板电脑和触摸压力的网络应用程序。不过，如果我没记错的话，我相信只有IE10支持这些指针事件。我想知道 chrome 和 firefox 是否会很快支持它？ 最佳答
Stress-ng:如何使用 execv 在 C 或 Cpp 中编写应用程序来调用 stress-ng 命令以在 MIPS 中进行 CPU 和内存测试，并在成功或失败时返回其状态？给定一个可执行的 s
我是一名优秀的程序员,十分优秀！