docker - Tensorflow Serving是否通过缓存运行推理？

Question

当我在tensorflow上使用2.1.0版本上的tensorflow服务服务我的TF模型时，我通过docker执行了Jmeter的压力测试。这儿存在一个问题。通过对单个数据进行测试， TPS将达到4400，而对于txt文件中的多个数据，TPS仅达到1700。 这个模型是我训练的BiLSTM，没有任何缓存设置。实验全部在本地服务器而不是通过网络执行。
指标:
在单数据任务中，我将30个请求线程之间没有间隔的相同数据设置为运行HTTP请求10分钟。

TPS:4491

CPU已占用:2100％

99％潜伏期线(毫秒):17

错误率:0

在多数据任务中，我通过运行30个请求线程，通过读取txt文件(包含9740000个不同示例的数据集)来设置运行中的HTTP请求。

TPS:1711

CPU已占用:2300％

99％延迟线(毫秒):42

错误率:0

硬件:

CPU核心:12个

处理器:24

英特尔®至强®银牌4214 CPU @ 2.20GHz

Tensorflow服务中是否有缓存？
为什么在压力测试任务中使用单一数据测试的TPS比使用各种数据测试的TPS大三倍？

Answer 1

我已经解决了问题。读取相同文件的请求线程需要等待运行Jmeter的CPU花费。