rest - Azure 消息大小限制和 IOT

Question

我阅读了azure文档，发现队列的消息大小限制是64 Kb，服务总线是256 KB。我们正在尝试开发一个应用程序，该应用程序将从某些设备读取传感器数据，调用 REST 服务并将其上传到云端。该数据将存储在队列中，然后转储到云数据库中。

收集的传感器数据可能超过 256 KB...在这种情况下，推荐的方法是什么...我们需要拆分数据吗在 REST 服务中，然后将数据 block 放入队列中，或者是否有其他推荐的模式

感谢任何帮助

Answer 1

您有几个相互矛盾的技术陈述。我将首先澄清一些问题。

1. 服务总线/IoT 中心不是后调用。后调用将使用 Restful 服务，单独存在。 IoT 中心使用低从您那里抽象出来的延迟消息传递系统。这些旨在成为大容量小数据包，适合大多数物联网场景。

2. 在消息大于 256 KB 的情况下(这对于物联网场景来说非常有趣，我有兴趣看看为什么这些消息如此之大)，您最好上传到 Blob 存储。您仍然可以邮寄数据包

   • 如果您可以使用自己的设备访问 Blob 存储 API，则应该采用该路线

   • 如果您无权访问此功能，您应该将大数据包发送到休息端点，然后祈祷它成功或将其切碎。

   • 您可以在 Blob 存储上运行后期分析，我建议使用 wasb 前缀，因为这些容器符合 Hadoop 标准，并且您可以在这些存储机制之上建立分析集群。

您并不真正需要我可以立即看到的队列。

您应该看看利用的模式:

1. 流分析:https://azure.microsoft.com/en-us/services/stream-analytics/
2. Azure 数据工厂:https://azure.microsoft.com/en-us/services/data-factory/

您的典型摄取将是:尽可能轻松地将数据传输到云中，存储到超便宜的存储中，然后使用可以按需建立和拆卸的集群来处理分析。这种廉价的存储通常是 blob，而分析集群通常是某种形式的 Hadoop。使用数据工厂可以让您在弄清楚要使用数据的特定组件做什么时通过管道传输数据。

使用 HBase 作为摄取、廉价 Blob 存储作为底层、Azure 机器学习作为我的分析解决方案的一部分的示例:http://indiedevspot.com/2015/07/09/powering-azureml-with-hadoop-hbase/