将数据传输到 Azure SQL 数据库的 Azure 体系结构问题

Question

我想将本地数据收集切换到 Azure 环境。

目前我每天最多可以节省 500k(消息)的数据流量。
在将数据存储到数据库之前，我在 C# 应用程序中做了一些数据准备，例如获取/设置关系 id。

现在回答我的问题:
我阅读了大量的azure文档并得出结论，我有两种方法。

<强>1。 IOT 中心 -> Azure 流分析 -> Azure SQL 数据库
我的理解是，如果我使用 Azure Functions，我可以只使用我的 C# 应用程序进行数据准备和插入。

<强>2。 IOT 中心 -> Azure Functions -> Azure SQL 数据库
通过流分析，我可以在插入数据库之前使用引用数据进行数据准备，但不确定该服务的功能。

任何有经验的人都可以给我一些关于如何在 azure 中最好地实现用例的提示吗？
是否有比我上面写的两个更好的解决方案？

Answer 1

你没有提到这50万条消息是一次性发送的还是全天分发的？目前消息发送到您的本地环境的情况如何？

如果它们被发送到 API 端点，那么 IOT/Eventhub 肯定是一个选择。如果您想重用 C# 应用程序，那么我认为 Azure databricks 不是一个选项，应该考虑使用 Functions。

如果您可以放弃 C# 应用程序，则可以将数据写入 SQLDB 并使用 pyspark 与其他数据集进行一些联接，而 databricks 可以非常有效地处理此问题。不过，您应该比较 Functions 和 Azure databricks 之间的成本。如果您使用消费计划，功能会相当便宜。

如果您的最终目的地不要求将数据流式传输到它，我会说跳过流分析。这对于流式实时 PowerBi 仪表板来说非常有用。