java - Mybatis SQL session 提交看起来比以下代码慢

Question

背景

我们有 2 个用 Java 编写的服务 - 一个处理不同文件上的数据库操作(数据库上的 CRUD)，另一个处理这些记录的长时间运行处理(复杂的后台任务)。简单地说，我们可以说他们是生产者和消费者。

假定的行为如下:

服务 1(使用以下代码):

1. 将文件存储到数据库

2. 如果文件类型为“C”，则将其放入消息队列中以供进一步处理

服务2:

1. 从消息队列接收消息

2. 从数据库加载文件(按 ID)

3. 执行进一步处理

服务1的代码如下(因公司原因更改了一些名称)

    private void persist() throws Exception {
        try (SqlSession sqlSession = sessionFactory.openSession()) {
            FileType fileType = FileType.fromFileName(filename);
            FileEntity dto = new FileEntity(filename, currentTime(), null, user.getName(), count, data);

            oracleFileStore.create(sqlSession, dto);
            auditLog.logFileUploaded(user, filename, count);
            sqlSession.commit();

            if (fileType == FileType.C) {
                mqClient.submit(new Record(dto.getId(), dto.getName(), user));
                auditLog.logCFileDetected(user, filename);
            }
        }
    }

其他信息

消息队列采用ActiveMQ 5.15

数据库是Oracle 12c

数据库由Mybatis 3.4.1处理

问题

有时会发生这样的情况:服务 2 收到来自 MQ 的消息，尝试从数据库读取文件，但令人惊讶的是 - 文件不存在。这种事件非常罕见，但确实发生过。当我们检查数据库时，该文件就在那里。看起来几乎就像在将文件放入数据库之前就开始了文件的后台处理。

问题

MQ 调用是否可能比数据库提交更快？我在数据库中创建了名为 commit 的文件，之后才将消息放入 MQ。 MQ 甚至包含数据库本身生成的 ID(序列)。

是否需要关闭连接才能确保执行提交？我一直认为，当我提交时，无论我的事务是否结束，它都会在数据库中。

问题可能出在Mybatis上吗？我读过一些有关 Mybatis 事务/ session 的问题，但它似乎与我的问题不相似

更新

我可以提供一些额外的代码，但请理解，出于公司原因我无法分享所有内容。如果你没有看到任何明显的东西，那也没关系。不幸的是，我无法继续进行比这更深入的分析。

我也基本上想确认一下我对 SQL 和 Mybatis 的理解是否正确，我也可以将这样的回答标记为正确。

SessionFactory.java(摘录)

private SqlSessionFactory createLegacySessionFactory(DataSource dataSource) throws Exception
{
    Configuration configuration = prepareConfiguration(dataSource);
    return new SqlSessionFactoryBuilder().build(configuration);
}

//javax.sql.DataSource
private Configuration prepareConfiguration(DataSource dataSource)
{
    //classes from package org.apache.ibatis
    TransactionFactory transactionFactory = new JdbcTransactionFactory();
    Environment environment = new Environment("development", transactionFactory, dataSource);
    Configuration configuration = new Configuration(environment);

    addSettings(configuration);
    addTypeAliases(configuration);
    addTypeHandlers(configuration);

    configuration.addMapper(PermissionMapper.class);

    addMapperXMLs(configuration); //just add all the XML mappers
    return configuration;
}

public SqlSession openSession()
{
    //Initialization of factory is above
    return new ForceCommitSqlSession(factory.openSession());
}

ForceCommitSqlSession.java(摘录)

/**
 * ForceCommitSqlSession is wrapper around mybatis {@link SqlSession}.
 * <p>
 * Its purpose is to force commit/rollback during standard commit/rollback operations. The default implementation (according to javadoc)
 * does
 * not commit/rollback if there were no changes to the database - this can lead to problems, when operations are executed outside mybatis
 * session (e.g. via {@link #getConnection()}).
 */
public class ForceCommitSqlSession implements SqlSession
{
    private final SqlSession session;

    /**
     * Force the commit all the time (despite "generic contract")
     */
    @Override
    public void commit()
    {
        session.commit(true);
    }

    /**
     * Force the roll back all the time (despite "generic contract")
     */
    @Override
    public void rollback()
    {
        session.rollback(true);
    }

    @Override
    public int insert(String statement)
    {
        return session.insert(statement);
    }

    ....
 }

OracleFileStore.java(摘录)

public int create(SqlSession session, FileEntity fileEntity) throws Exception
{
    //the mybatis xml is simple insert SQL query
    return session.insert(STATEMENT_CREATE, fileEntity);
}

Answer 1

Is it possible that MQ call could be faster than the database commit?

如果数据库提交完成，则更改将保存在数据库中。之后会在队列中创建任务。这里最重要的是，当您在 session 上调用 commit 时，您需要检查提交是否同步发生。从您到目前为止提供的配置来看，这似乎没问题，除非 Connection 本身存在一些损坏。例如，我可以想象在 native Connection 上有一些包装器。我将在调试器中检查 commit 调用是否会导致对 Oracle JDBC 驱动程序的实现调用 Connection.commit。最好检查一下DB端的日志。

Does the connection needs to be closed to be sure the commit was performed? I always thought when I commit then it's in the database regardless if my transaction ended or not.

你是对的。无需关闭遵守 JDBC 规范的连接( native JDCB 连接会执行此操作)。当然，您始终可以创建一些不遵守 Connection API 的包装器，并执行一些魔法(例如延迟提交直到连接关闭)。

Can the problem be Mybatis? I've read some problems regarding Mybatis transactions/sessions but it doesn't seem similar to my problem

我想说这不太可能。您正在使用 JdbcTransactionFactory 来提交到数据库。您需要跟踪提交时发生的情况以确保确定。

您检查过问题是否出在读者方面吗？例如，它可能使用具有序列化隔离级别的长事务，在这种情况下，它将无法读取数据库中的更改。

在 postgres 中，如果使用复制并且使用副本进行读取查询，即使在主服务器上成功完成提交，读者也可能会看到过时的数据。我对oracle不太熟悉但是it seems如果使用复制，您可能会看到同样的问题:

A table snapshot is a transaction-consistent reflection of its master data as that data existed at a specific point in time. To keep a snapshot's data relatively current with the data of its master, Oracle must periodically refresh the snapshot

我会检查数据库的设置以了解情况是否如此。如果使用复制，您需要改变您的方法。