java - 收集缓存中的数据并写入数据库

Question

我需要一些缓存方面的帮助。

这是我的要求:

我的应用程序每天有数百万次点击。目前，我正在使用直接数据库插入将 session 和事务日志等信息记录在日志表中，这会降低应用程序的性能。

我想要类似的东西:我使用一些缓存机制，它应该收集每次点击的数据。我会将其写入一个文件，一旦该文件包含 1000 条记录，缓存中的这些条目就应该作为一个批处理进入数据库。(写在后面会很好)。

有人可以帮忙解决这个问题吗？

Answer 1

解决方案:将 log4j 与 AsynAppender 和 JDBCAppender 结合使用。

您可以在 log4j.xml 中配置 AsynAppender 的缓冲区大小。然后，当缓冲区已满时，它将使用 JDBCAppender 刷新数据库中的所有内容。

例如:

    <appender name="DB" class="org.apache.log4j.jdbc.JDBCAppender">
     ....
     your DB CONFIG


    <appender name="PerfAppender" class="org.apache.log4j.AsyncAppender">
    <param name="BufferSize" value="5000" />
    <appender-ref ref="DB" />
</appender>

这样，它就会执行您所描述的操作，您甚至不必编写一行代码;-) 几乎......

更多详细信息:

您可以使用log4J的MDC来持久化数据。 MDC 基本上是一个 HashMap ，您可以在其中存储要记录的数据(键、值)。然后在 log4j.xml 中，您可以使用 %X 访问 MDC 中的数据。

例如:

<appender name="DB" class="org.apache.log4j.jdbc.JDBCAppender">
<param name="URL" value="yoururlconnection" />

<param name="Driver" value="com.ibm.db2.jcc.DB2Driver" />
<param name="User" value="myuser" />

<param name="Password" value="mypassord" />
<layout class="org.apache.log4j.PatternLayout"> 
     <param name="ConversionPattern"        
         value="INSERT INTO mytable (field1, field2, etc) VALUES
                    ('%X{value1}', '%X{value2}', etc)" />
        </layout>
</appender>