c# - Azure 上的 OpenRtb 出价器是真的吗？

Question

我们正在尝试在 Azure 环境上构建 OpenRtb 出价器。我们使用部署在 Linux VM 上的 Redis 实例来存储实时数据(跟踪 key 、请求/竞价计数等)。我们使用基于 WebApi 的网站(标准计划/大型实例/按性能扩展)作为端点。在 webapi bidder Controller 中，我们使用异步方法，对数据库和 redis 的所有请求也是异步的。 Json.net 到 ser/der json req/resp。

目前我们遇到延迟问题。我们应该有可能每秒接收超过 10000 个请求，并且延迟应该小于 100 毫秒。

有人可以跟我分享一下经验吗？该技术堆栈是否适合构建 RTB Biders 等应用程序？目前，我正在尝试找到存储每个请求的请求上下文(查询、请求正文、 header 等)的最佳策略。所以，我需要一种快速插入大量(>10000)大消息的方法。我在想:

1. 存储到日志文件并将其复制到 HDFS 并由 Hadoop MapReduce 任务 (HDInsight) 进行解析
2. 使用一些队列(例如 AzureQueue 或 ServiceBus 或 RabbitMQ)并向队列发送请求消息，某些服务(自制或 LogStash)将接收它们并存储到某些存储中。

也许有人可以告诉我如何优化延迟和性能，因为目前我们在这方面遇到了问题。也许有一些基本的陷阱？

Answer 1

有趣。我对 Azure 缺乏经验，但如果涉及队列或任何类型的 IO 等内容，构建具有高吞吐量和低延迟的 RTB 投标程序可能会很棘手。仅在必要时使用这些，并且最好在出价路径之外。缓存所有内容或使用高速内存存储(Aerospike、Couchbase 等......甚至是 redis，如果你很聪明的话)。异步很棒，但要小心要安排太多线程。如果可以使用 epoll、非阻塞 IO，可能会导致高延迟。我构建了一个在 aws 上运行的 bidder，使用 netty(jvm 上的异步非阻塞 io)封装在 Twitter 的 Finagle(twitter RPC 系统)上，将历史 map 作为模型缓存，将 aerospike 用于数据服务。我们可以在一盒 m4.2xlarge(8 核/32 Go)上处理 20k 请求/秒，99% 的尾部延迟约为 45 毫秒，平均为 16 毫秒。您倾向于读到您应该只为投标人使用裸机，但这更多的是关于架构而不是虚拟化。