可参考:
阿里全链路压测
京东全链路压测

1.什么是全链路压测

基于实际的生产业务场景、系统环境,模拟海量的用户请求和数据对整个业务链进行压力测试,并持续调优的过程。

2.全链路压测解决什么问题

针对业务场景越发复杂化、海量数据冲击下整个业务系统链的可用性、服务能力的瓶颈,让技术更好的服务业务,创造更多的价值。

3.如何开展全链路压测?
分析压测业务场景涉及系统服务;
协调各个压测系统资源;
压测环境(需要将请求和访问、业务数据处理都进行隔离,防止影响到生产环境。发起请求的时候通过请求报文头中的压测标示来进行区分处理,将压测的流量分流到指定的应用服务器和存储进行数据保存和处理);
压测数据(数据清洗,数据Tag);
压测数据隔离;
压测数据实时监控;

4.全链路压测核心要素?
压测环境(数据与流量隔离能力的生产环境);
压测数据(压测用户、店铺、商品等基础数据);
压测场景(场景模型,压测哪些业务场景,每个场景下压测多大量);
压测流量(流量要能被识别,带有特殊的标记,标记能够随着中间件协议的调用关心进行传递);
流量下发脚本的核心是控制漏斗转化率,不同场景的流量配比;每个场景下,url从上往下的漏斗转化率;
流量爬升规律;

locust(四) - HTTP请求的压力测试

只介绍了如何创建Locust类、TaskSet类去模拟用户,本文介绍如何对提供HTTP接口的系统进行压力测试。Locust已经有HttpLocust类,每个HttpLocust类的实例都有一个client属性用于构造HTTP请求。

HttpLocust类

一个HttpLocust类的实例可以表示一组用于HTTP压力测试的“用户”,该用户的行为由task_set属性定义,这些与父类Locust类都一致。

HttpLocust类有个额外的client属性,用于建立与保持HTTP请求会话。熟悉Python的朋友一般都知道requests库,HttpLocust类的client正是封装了该库,用法基本一致。

当你的Locust类继承自HttpLocust,那你指向的TaskSet可以直接使用client属性发起HTTP请求,下面是一个例子,可以用来对//about两个URL进行压力测试:

from locust import HttpLocust, TaskSet, task 
 
class MyTaskSet(TaskSet):  @task(2) def index(self): self.client.get("/")  @task(1) def about(self): self.client.get("/about/") class MyLocust(HttpLocust): task_set = MyTaskSet min_wait = 5000 max_wait = 15000 

上面的示例代码中,每个模拟用户在5-15秒的等待间隔会发起一次请求,task的权重显示了对URL / 的请求会是 /about 的两倍。

有心的读者会发现,我们可以在TaskSet中直接使用self.client调用HttpSession,而不是self.locust.client。这是因为为了用户方便,TaskSet类中的self.client已经直接指向self.locust.client

HTTP client基本用法

client属性中,每个HttpLocust实例都有一个HttpSession实例。 HttpSession类实际上是requests.Session的一个子类,可用于发出getpostputdeleteheadpatchoptions等HTTP请求并报告给Locust的用于统计。 HttpSession实例会在请求之间保存cookie,以便它可以用来登录网站、保持请求会话。

下面是一个简单的例子,它向 /about 发出GET请求(假设self是TaskSet或HttpLocust类的实例:

response = self.client.get("/about") 
print("Response status code:", response.status_code) 
print("Response content:", response.text) 

下面是POST请求的例子:

response = self.client.post("/login", {"username":"testuser", "password":"secret"}) 

人为标记成功失败

默认情况下,Locust将HTTP响应码为OK(2xx)的请求标记为成功,其他的就标记为失败。可能大多数时候这种处理方式就是我们想要的,但是有的时候就是想测试返回404的情况呢?或者server在返回错误时,错误信息在响应的消息体中而不体现在响应码,这些情况的处理就需要手动控制成功/失败。

使用catch_response参数和with,可以获取response的内容并标记失败:

with client.get("/", catch_response=True) as response: 
    if response.content != b"Success": response.failure("Got wrong response") 

正如可以将请求OK响码标记为失败一样,用catch_response参数与with语句也可以将请求不为2xx的响应码标记为成功:

with client.get("/does_not_exist/", catch_response=True) as response: 
    if response.status_code == 404: response.success() 

设置检查点

Locust中设置检查点是很简单的,可以直接用assert设置检查点,对response的内容检查,并输出错误信息:

response = self.client.get('/test_assert') 
assert '‘success' in response.content, "Respense error: " + response 

动态参数请求分组

网站的实参(Query String)经常是动态的,比如/blog?id=diff_id,一次查询一个新的id,如果不指定分组,在Locust的测试结果中和会看到默认以"/blog?id=diff_id"的很多分组,而这些请求都是在测试获取某个id的blog,其实可以被分为一组。

通过给client传入name参数能够实现分组:

# 这些id不同的请求都会被分组到 /blog/?id=[id] 中 
for i in range(10): 
    client.get("/blog?id=%i" % i, name="/blog?id=[id]") 

参考

[1] Locust Documentation





评论关闭
IT干货网

微信公众号号:IT虾米 (左侧二维码扫一扫)欢迎添加!

性能之全链路那些事