gpt4 book ai didi

latency - "top percentile"或基于 TP 的延迟是什么意思?

转载 作者:行者123 更新时间:2023-12-02 03:54:17 42 4
gpt4 key购买 nike

当我们讨论分布式系统的性能时,我们使用术语 tp50、tp90、tp99.99 TPS。有人可以解释一下这些是什么意思吗?

最佳答案

tp90 是满足 90% 请求的最长时间。想象一下你有时间:

10s
1000s
100s
2s

计算TP非常简单:

  • 按升序对所有时间进行排序:[2 秒、10 秒、100 秒、1000 秒]
  • 找到您需要计算的部分中的最新项目。对于 TP50,它将 ceil(4*.5)=2 个请求。您需要第二个请求。对于 TP90,将为 ceil(4*.9)=4。您需要第四个请求。
  • 获取上面找到的项目的时间。 TP50=10秒。 TP90=1000s

关于latency - "top percentile"或基于 TP 的延迟是什么意思?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17435438/

42 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com