elasticsearch - 将BI从SSAS Olap迁移到免费的ElasticSearch

Question

我在一家正在考虑将其BI结构(SSAS Olap和Power BI)迁移到ElasticSearch / Kibana的公司工作。我们的BI基本上在多个层次结构级别(组织级别，客户级别，单位级别等)的集合中进行汇总，包括总和，最大，最小，计数，第一个，最后一个，平均值，以及多个度量之间的表达式(聚合并根据datetime来查找第一个/最后一个)，例如总和，减法，乘法，除法，百分比，我们还进行一些日期操作。我们总共处理超过10亿行。在使用SSAS Olap之前，我们使用SQL Server OLTP，并且查询耗时很长时间。因此，我们更改为OLAP，现在可以在几秒钟内获得汇总度量。但是Microsoft许可证超出了我们的新预算，现在该公司需要一个免费软件。目前，我们的商业智能解决方案没有数据挖掘，机器学习，只有聚合在多个层次结构级别上的度量以及这些聚合之间的操作。

我们的解决方案是整个内部部署。

我有两个问题:

1-有了免费/基本的Elasticsearch许可，我们将能够将我们的商业智能解决方案迁移到ElasticEngine，并在所有级别的操作中进行所有这些层次结构，聚合和搜索？

2-使用免费/基本的Elasticsearch引擎，我们将在与OLAP多维数据集相似的时间内，在这数百万个寄存器之间以及这些度量之间的操作进行这些度量聚合。

最好的祝福，

路易斯

Answer 1

通常，可以按照您描述的方式使用ElasticSearch。但是，只有当您经常使用基于“喜欢”的按文本列过滤时，这才有意义，此用例非常适合ElasticSearch。报告所需的所有事实均应纳入一份环境与社会文件中；为避免使用子集合，对子集合中字段的聚合查询(嵌套查询)可能会降低性能。

如果您需要的只是快速聚合和“完全匹配”过滤，那么使用与SQL兼容的列式数据库可能会更好:

MemSQL-免费版本应足以容纳10亿行，如果您需要同时支持OLAP / OLTP DB使用(例如，经常更新行)，则这是一个不错的选择

Yandex ClickHouse-免费/开源，适用于您的数据仅附加(无频繁更新/删除)的情况。它的综合查询性能确实是终极的，即使在单节点配置

中，它也可以足够快地处理10亿行查询

您提到您现有的BI基础结构使用SSAS OLAP，并且我可能假设许多报告实际上是数据透视表。大多数免费的BI工具(包括Kibana)根本不支持数据透视表，或者仅非常非常原始的基本数据透视表。幸运的是，可以使用PowerBI / Excel PivotTable替代它-但它不是完全免费的。在这里，我的意思是 SeekTable:它可以连接到我提到的所有DB(MemSQL，ClickHouse)，甚至可以连接到ElasticSearch [免责声明:我与该BI工具关联]。