azure - 临时数据库需要哪些 Azure 产品？

Question

我有几个使用一些 Python 脚本访问的外部数据 API。我的脚本从本地服务器运行、转换数据并将其存储在同一服务器上的 SQL Server 数据库中。我认为这是一个使用 Python 和 T-SQL 运行的基本 ETL 系统。

随着新的 API 的出现，系统将大幅增长，并且需要更复杂的数据管道(例如，一些 API 数据将被分拆到多个表中)。我认为现在是将系统迁移到 Azure 的好时机(我们与 Microsoft 高度集成，因此必须是 Azure!)。

我花了几天时间研究 Azure 产品，这些产品可以让我运行 Python 脚本来访问 Web API 中的数据并将处理后的数据存储在云数据库中。我正在寻求有关其他人用于类似工作的 Azure 产品类型的建议。目前看来我需要:

1. Azure SQL 数据库用于保存可供不同同事访问的已处理数据。
2. Azure 数据工厂用于管理、记录和计划管道作业并运行我的自定义 Python 脚本(这可能吗？)。
3. Azure Batch 运行上述 Python 脚本，但我对此不确定。

我想基本上整理一个提案并开始考虑成本，但很高兴听到做过类似事情的人的意见 - 我走在正确的轨道上还是完全偏离了轨道？我应该留在本地吗？预先感谢您。

Answer 1

1. Azure SQL 数据库、Azure SQL 数据仓库非常适合关系数据。如果您想使用 NoSQL，则可以使用 Azure Cosmos DB。如果您想使用文件来存储数据，可以使用Azure Data Lake。
2. 对于 python 脚本，您可以使用 custom activity或Data bricks适用于 Azure 数据工厂。