java - 如何从 Java EE 批处理作业发送电子邮件

Question

我需要每天处理大量用户的列表，以便根据某些场景向他们发送电子邮件和短信通知。我为此使用 Java EE 批处理模型。我的工作xml如下:

<step id="sendNotification">
    <chunk item-count="10" retry-limit="3">
        <reader ref="myItemReader"></reader>
        <processor ref="myItemProcessor"></processor>
        <writer ref="myItemWriter"></writer>
        <retryable-exception-classes>
            <include class="java.lang.IllegalArgumentException"/>
        </retryable-exception-classes>
    </chunk>
</step>

MyItemReader 的 onOpen 方法从数据库读取所有用户，而 readItem() 使用列表迭代器一次读取一个用户。在 myItemProcessor 中，实际的电子邮件通知被发送给用户，然后用户将保留在该 block 的 myItemWriter 类的数据库中。

@Named
public class MyItemReader extends AbstractItemReader {

    private Iterator<User> iterator = null;
    private User lastUser;

    @Inject
    private MyService service;

    @Override
    public void open(Serializable checkpoint) throws Exception {
        super.open(checkpoint);

        List<User> users = service.getUsers();
        iterator = users.iterator();

        if(checkpoint != null) {
            User checkpointUser = (User) checkpoint;
            System.out.println("Checkpoint Found: " + checkpointUser.getUserId());
            while(iterator.hasNext() && !iterator.next().getUserId().equals(checkpointUser.getUserId())) {
                System.out.println("skipping already read users ... ");
            }
        }
    }

    @Override
    public Object readItem() throws Exception {

        User user=null;

        if(iterator.hasNext()) {
            user = iterator.next();
            lastUser = user;
        }
        return user;
    }

    @Override
    public Serializable checkpointInfo() throws Exception {
        return lastUser;
    }
}

我的问题是检查点存储了前一个 block 中执行的最后一条记录。如果我有一个包含接下来 10 个用户的 block ，并且第 5 个用户的 myItemProcessor 中抛出异常，则在重试时将执行整个 block ，并且将再次处理所有 10 个用户。我不希望再次向已处理的用户发送通知。

有办法解决这个问题吗？应该如何有效地完成这项工作？

任何帮助将不胜感激。谢谢。

Answer 1

我将基于@ Cheng 的评论。我在这里向他表示感谢，希望我的回答能够为有效组织和呈现选项提供额外的值(value)。

答案:将消息排队以供另一个 MDB 调度以发送电子邮件

背景:

正如@heng所指出的，失败意味着整个事务被回滚，并且检查点不会前进。

那么如何处理您的 block 已向某些用户而不是全部用户发送电子邮件的事实？ (你可能会说它回滚了，但有“副作用”。)

因此，我们可以将您的问题重申为:如何从批量 block 步骤发送电子邮件？

好吧，假设您有办法通过事务 API 发送电子邮件(实现 XAResource 等)，您可以使用该 API。

假设您不这样做，我会向 JMS 队列进行事务写入，然后使用单独的 MDB 发送电子邮件(正如 @ Cheng 在他的评论之一中建议的那样)。

建议的替代方案:使用 ItemWriter 将消息发送到 JMS 队列，然后使用单独的 MDB 实际发送电子邮件

通过这种方法，您仍然可以通过对数据库进行批量处理和更新来提高效率(无论如何，您一次只发送一封电子邮件)，并且您可以从简单的检查点和重新启动中受益，而无需编写复杂的错误处理.

这也可能作为跨批处理作业和批处理之外的模式重复使用。

其他替代方案

其他一些我认为不太好的想法，列出来供讨论:

添加批量应用程序逻辑跟踪用户通过电子邮件发送的信息(使用 ItemProcessListener)

您可以使用 ItemProcessListener 方法构建自己的成功/失败电子邮件列表:afterProcess和 onProcessError .

重新启动后，您可以知道当前 block 中哪些用户已收到电子邮件，由于整个 block 回滚，我们重新定位到当前 block ，即使某些电子邮件已经发送。

这肯定会使您的批处理逻辑变得复杂，并且您还必须以某种方式保留此成功或失败列表。另外，这种方法可能是专门针对该作业的(而不是排队等待 MDB 进行处理)。

但它更简单，因为您有一个批处理作业，而不需要消息传递提供程序和单独的应用程序组件。

如果您选择这种方式，您可能需要结合使用可跳过的异常和“不可回滚”的可重试异常。

单个项目 block

如果您使用 item-count="1" 定义 block ，则可以避免复杂的检查点和错误处理代码。不过，您会牺牲效率，因此只有当批处理的其他方面非常引人注目时，这才有意义:例如通过通用接口(interface)调度和管理作业，能够在作业中的失败步骤处重新启动

如果您要走这条路，您可能需要考虑将套接字和超时异常定义为“无回滚”异常(使用)，因为回滚没有任何好处，并且您可能需要重试网络超时问题。

既然您特别提到了效率，我猜这不适合您。

使用事务同步

这也许可行，但批处理 API 并没有让这一切变得特别容易，而且您仍然可能会遇到 block 完成但一封或多封电子邮件发送失败的情况。