mysql - 将数据同步到 PowerBI

Question

我在将数据从 MySQL 同步到 PowerBi 云以进行报告时遇到问题。信息流的足迹如下:

[实时数据库]无法在公网连接 -> 将数据库下载到基于Linux操作系统的MySQL服务器，该服务器可以连接到公共(public)网络。 -> 上述 download/mysqldump 每小时运行一次以导出/导入数据。 -> 运行大量 View 来合并/准备来自不同表的分析数据并将其插入到简单的 MySQL 表中。 -> powerBi网关安装在单独的windows服务器上，用于从mysql服务器获取数据并发送到PowerBI云 -> 每个新客户端都需要一个新网关，但主要数据集保持不变，这意味着有更多网关和 powerbI 云帐户来连接和获取数据。这会增加 MySQL 服务器的负载

在 MySQL 服务器上下载和导入的数据大小为 9GB。运行 View 将数据合并到简单的 MySQL 表中需要 40 分钟以上两种情况每两小时发生一次只有一台 MySQL 服务器保存每个新客户端的数据网关数量随着每个新客户端的增加而增加每个powerbi网关有一个powerBi云帐户每个 powerBi 云帐户上都有计划的数据刷新。随着帐户数量的增加，主MySQL服务器的负载增加，并且频繁崩溃。

我想知道这是否是将数据同步到 powerBI 的最佳方式？如何减少 MySQL 主服务器的负载？

每个客户端有 5 个网关，

[实时数据库] -> Mysql Server1 -> Windows Gateway1 -> PowerBi CLoud1[实时数据库] -> Mysql Server1 -> Windows Gateway2 -> PowerBi CLoud2[实时数据库] -> Mysql Server1 -> Windows Gateway3 -> PowerBi CLoud3[实时数据库] -> Mysql Server1 -> Windows Gateway4 -> PowerBi CLoud4[实时数据库] -> Mysql Server1 -> Windows Gateway5 -> PowerBi CLoud5

Answer 1

您似乎可以从 Power BI 中提供的最新功能中受益，例如:

• 直接查询(如果数量允许)
• 增量刷新选项，您可能需要在 PBI 桌面上启用此功能如图所示。
• 转至"file"菜单、“选项”、“[预览功能]”、“增量刷新策略”[预览完成后，该功能可能会移至另一个类别] - 也许目前只是高级功能。
• 如果该功能在您的系统中不可用，您可能需要在数据库中创建 View ，仅将新记录推送到 PBI 中的单独登录表中，然后将该数据与现有表连接[+删除重复项]以生成报告使用。 (基本上模拟增量刷新)

有关增量刷新的更多信息，请访问: https://learn.microsoft.com/en-us/power-bi/service-premium-incremental-refresh