Java IO file length() 和 lastModified() 在处理数百万个文件时执行缓慢

Question

我在远程服务器上有 100 万个文件。这些文件经常更新。我们在检查后的某个特定时间将这些文件下载到本地服务器。此下载是根据远程和本地服务器文件之间的文件大小和修改时间的变化完成的。

1. 此检查(使用 length() 和 lastModified())在本地服务器上进行大量 IO 调用，并且需要同时使用 length 和 lastModified() 这是某些场景。

2. 请注意:远程服务器是 FTP 服务器，我无法控制超过它。我有100-200个远程FTP服务器来获取数据。对于每个FTP服务器有一个线程。

   请建议有效的解决方案，我可以减少本地文件的 IO 调用，而远程服务器则没有问题。

   谢谢。

Answer 1

网络调用很昂贵。我建议您创建一个服务器，该服务器将接收日期并返回在该日期之后修改的文件列表，并在远程计算机上运行它。然后仅下载您想要的文件。

如果远程主机是 Linux 服务器，您只需使用适当的参数运行 find 即可获取已更改文件的列表。在这种情况下，请咨询 unix.stackexchange.com。