python - Django/Postgres 应用程序中的数据挖掘

Question

我需要在我的 Django 应用程序中构建分析(报告、图表和绘图)系统。在理想情况下，我可以只查询我的 Postgres 数据库并获取我想要的数据，但是当数据库中的数据量激增时，我会遇到性能瓶颈和其他问题，例如索引 hell 。

我想知道您是否可以为我指明正确的实现方向:

• 这是使用 NoSQL DB(如(CouchDB、MongoDB、Redis)并从中查询数据的好方案吗？
• 由于 Postgres 和 Django 不支持 OLAP/MDX，我是否应该在不同的数据库中使用星型模式并进行查询？

我希望避免两件事:

• 我不想查询我的实际数据库进行分析，因为它可能会对性能造成巨大影响。
• 我希望尽可能使我的分析保持最新状态，即我希望逐步更新我的数据仓库以获取最新数据。每次，我的事务数据库都有一个 CRUD 操作，我想更新数据仓库。

这是另一个我没有处理过的场景，我正在尝试了解最快和最好的方法来完成。

我希望我已经够详细了。如果没有，我很乐意解释更多。

谢谢大家

---

在网上挖掘并使用我所拥有的知识后，我得出了这个解决方案:

使用 Postgres 存储关系数据。在每个 CRUD 操作中，调用分析代码对数据进行计算并将数据存储在 Redis/CouchDB 等 NoSQL DB 中。

查看 NoSQL DB (http://kkovacs.eu/cassandra-vs-mongodb-vs-couchdb-vs-redis) 的这个很好的比较，我认为 Redis 或 CouchDB 非常适合。以分析为目标。

我可以将计算出的 Analytics 存储在 Redis/CouchDB 中，并在我的源数据发生变化时逐步更新它们。

这是一个好的解决方案吗？

Answer 1

您可能需要考虑Cube .它不是 Django 应用程序，但它内置了许多不错的功能，并且 Django 可以轻松地与之通信。也很可爱。

您可以让您的 Django 应用程序在事件发生时将事件发送到 MongoDB。这种系统分离将防止对您的 Django 应用程序造成任何额外的压力。