java - 快速将数据写入远程数据库

Question

我有一个应用程序，它将每秒在一台主机中生成5-10条新的数据库记录。

记录不需要任何检查。它们只需要记录在远程数据库中。

我正在将Java用于客户端应用程序。

该数据库在服务器后面。

发送数据无法使应用等待。因此，可能至少将每个记录至少同步地发送到远程服务器是不好的。

发送数据一定不能失败。我的应用不需要服务器的答复，但必须100％安全地确保它正确到达服务器（应使用例如http url连接（TCP）来保证这一点...）。

我考虑了几种方法：


在单独的线程中运行发送数据代码。
仅将数据存储在内存中，经过一定计数后发送到数据库。
将数据存储在本地数据库中，并根据请求由服务器发送/拉取。


所有这些都是有道理的，但是我对此并不满意，也许我缺少一些标准方法，使事情变得更容易。不确定要走的路。

Answer 1

您的要求不是很清楚。我最好的答案是仔细研究您的问题，并尝试逐点指出正确的方向。


“记录不需要任何检查，”和“我的应用程序不需要答案，但必须正确地正确到达服务器，并且必须100％安全。”


您如何在不知道发送数据的情况下对客户端进行准确的计划？您应该始终计划将异常处理写入应用程序，并处理由于某种原因客户端连接或其发送的数据被丢弃的情况。您所做的这两个陈述似乎相互冲突；您不需要响应，但是您需要知道数据已到达？您的应用程序是否要使用水晶球来确认接收到的数据（如果是，请发送给我这样的水晶球-我想用它来做空股票市场）。


“在单独的线程中运行发送数据代码”，“将数据存储在内存中，然后再发送”，“将数据存储在本地并由服务器提取”，以及“发送数据无法使我的应用等待”。


好的，听起来您想要无阻塞的I / O。但是现实是，即使使用非阻塞I / O，实际发送数据仍需要花费一些时间。我的问题是，为什么要要求非阻塞和/或快速I / O？如果数据传输速度非常快，那么是否也非阻塞真的重要吗？这是您的设计决定，但您的问题尚不清楚为什么您需要此决定，因此我只是将其扔在那里。

至于将数据存储在内存中并在以后发送，这并不是真正的非阻塞或多任务处理。这只是推迟工作，直到将来。我认为软件拖延。这种方法不会减少应用程序处理数据所需的时间或工作量，只是将其推迟到将来的某个日期。除非“分批”将数据发送到大块中有一些好处，否则这不会给您带来任何好处。

内存中的想法听起来也像是一个临时缓冲区。许多I / O流实现都将内置一个缓冲区，以及网卡上的缓冲区，路由器上的缓冲区等，等等。在代码中添加另一个缓冲区不会从表面上看似乎没有任何意义，除非您能证明自己为什么会有所帮助。也就是说，您要通过引入缓冲区来解决哪些实际的，有经验的问题？另外，根据您如何发送此数据（即选择哪种网络I / O类），您可能会在类实现中获得非阻塞I / O。

接下来，关于在单独的线程上发送数据，如果您需要无阻塞的I / O，这很好，但是（1）您需要证明在软件设计方面，为什么这是一个好主意，然后再进行下去。路由，因为它给您的应用程序增加了复杂性，因此除非它解决了一个特定的实际问题（即您的应用程序中的UI不应由于待处理的I / O操作而冻结/无响应），否则只会增加复杂性而且您将不会获得任何额外的性能。 （2）人们普遍倾向于使用线程来基本上拖延工作。将工作推迟到另一个线程上并不会减少需要完成的工作总量，也不会减少您的应用程序为了完成其功能而消耗的I / O总量-只是将其推迟到另一个线程上。有时候这是非常有益的，也许这对于您的应用是正确的决定，但是从您的描述中，我看到了许多要求的功能，但没有备份的理由（或您要解决的问题的解释）这些功能/设计选择，这些最终应该驱动您选择的方向。

最后，就让服务器“拉”而不是将其推到服务器而言，在这里您要做的就是翻转角色，并使服务器充当客户端，使客户端成为服务器。意识到“客户端”和“服务器”是相对的术语，而服务器就是提供服务的东西。简单地轮换角色并不会真正改变任何东西，它只是将客户端/服务器角色从软件的一部分切换到另一部分。标签本身就是标签。标签是一种方便的方式，可以知道哪个部件在提供服务，哪个部件在使用服务（客户端）。


“我有一个应用程序，它将每秒在一台主机中生成5-10条新的数据库记录。”


这应该不是问题。任何体面的DB服务器都将这种工作视为极低的负载。服务器的速度/响应能力方面，更大的问题是网络延迟（假设您正在通过网络传输此数据）以及其他有关I / O选择的因素，这些因素会影响您是否可以写入5每秒10条记录-即您的整体吞吐量。