fiware - 如何发送Orion中传感器的海量数据

Question

假设有 100 个传感器随时向 Orion 发送属性。我该如何管理如此海量的数据？

1. 通过批量操作(但不知道是否支持)
2. 使用边缘(聚合数据)并发送到 Orion(1 分钟后)

谢谢

Answer 1

让我们考虑对于给定基础设施而言 100 tps 的高负载(负载和吞吐量必须始终与基础设施和 e2e 场景相关)。

您可能遇到的主要问题与更新本身无关，Orion Context Broker 及其分支 Orion LD，可以处理大量更新。实际/生产场景中的主要问题(例如 Orion Context Broker 和 NGSI v2 处理的问题)是与这些更新相关的通知。

如果您需要 UPDATES:NOTIFICATION 之间的比例为 1:1(甚至 1:2 或 1:4)，例如，您希望跟踪每个措施的历史记录，并将这些措施发送到 CEP如果进行一些后处理，那么问题不仅在于 Orion 可以处理多少个更新，还在于 E2E 可以处理多少个更新通知。如果您收到缓慢的通知端点，Orion 将使其通知队列饱和，您将丢失通知(无法跟踪历史记录或 CEP 中的这些更新...)。

批量更新对此没有帮助，因为更新请求服务器不是瓶颈，并且它们在内部作为单个更新进行管理。

为了缓解这个问题，我建议您启用 NGSI V2(仅在 V2 中可用)flow control mechanism ，因此当通知吞吐量需要时，更新过程可能会自动减慢。

当然，在任何物联网场景中，如果您不需要所有数据，那么越早聚合越好。因此，如果您的 E2E 不需要跟踪每一项测量，那么数据记录器就非常受欢迎。