java - 如何存储用户日志

Question

最近，我们的系统每天需要存储数百万条记录。每条记录都很简单，就是userid和点击的weburl。之后我们对数据日志使用一些机器学习算法。我们尝试了neo4j，但是查询时间非常慢。例如:获取所有对用户 ID 查看相同的 weburl。那么有什么建议吗？

Answer 1

以下是我如何创建一个每天支持超过 10 亿笔交易的数据库:

创建一个类似于缓冲区的前表，例如名为 TBUFFER。在该表中，插入您想要插入到日志表中的信息。

每一秒，从作业中读取 TBUFFER 并将数据分发到您的最终表中。为什么要这么做？能够进行大量插入。

关键是按包插入，划分事务个数，然后加锁。

您还可以将包含许多要插入的用户日志记录的 XML 数据传递到数据库，并使用单个事务将其插入。