python - 哪个更快？

Question

打开一个大文件一次完全读取它以更快地列出(或)打开较小的文件，其总大小等于大文件并将较小的文件加载到列表中，一个一个地操作更快？

哪个更快？？时间差异是否足以影响我的程序？小于 30 秒的总时间差对我来说可以忽略不计

Answer 1

这取决于您的数据是否适合您的可用内存。如果您需要求助于分页或虚拟内存，那么打开单个大文件可能比打开更多小文件要慢。如果您需要进行的计算创建了不适合物理 RAM 的中间变量，则更是如此。

所以，只要文件不是那么大，一次打开会更快，但如果不是这样，那么多次打开可能会更快。

最后，请注意，如果您可以进行多次打开，则您可能能够并行进行它们并在不同的进程中处理不同的部分，这可能会使事情再次变得更快。