python - 恢复用 Python 写入大文件

Question

我有一个大文件传输(比如 4gb 左右)，而不是使用 shutil，我只是以正常的文件方式打开和写入它，这样我就可以在它移动时包括一个进度百分比。

然后我想到尝试恢复文件写入，如果由于某种原因它在过程中失败了。虽然我没有任何运气。我认为这将是抵消源文件读取和使用搜索的一些巧妙组合，但到目前为止我还没有运气。有什么想法吗？

此外，是否有某种动态方式来计算读取和写入文件时使用的 block 大小？我对那个领域相当陌生，只是阅读以使用更大的尺寸来获得更大的文件(我现在使用的是 65536)。有没有一种聪明的方法来做到这一点，或者只是猜测..？谢谢大家。

这是附加文件传输的代码片段:

                newsrc = open(src, 'rb')
                dest_size = os.stat(destFile).st_size
                print 'Dest file exists, resuming at block %s' % dest_size
                newsrc.seek(dest_size)
                newdest = open(destFile, 'a')
                cur_block_pos = dest_size
                # Start copying file
                while True:
                    cur_block = newsrc.read(131072)                    
                    cur_block_pos += 131072
                    if not cur_block:
                        break
                    else:
                       newdest.write(cur_block)

它确实追加并开始写入，但它随后写入 dest_size 的数据比它应该的多，这对你们其他人来说可能是显而易见的原因。有什么想法吗？

Answer 1

对于问题的第二部分，数据通常以 512 字节的 block 为单位从硬盘驱动器读取和写入。因此，使用它的倍数的 block 大小应该可以提供最有效的传输。除此之外，没有太大关系。请记住，您指定的任何 block 大小都是 I/O 操作在任何给定时间存储在内存中的数据量，因此不要选择大到会占用大量 RAM 的大小。我认为 8K (8192) 是一个常见的选择，但 64K 应该没问题。 (当您选择最佳 block 大小时，我认为正在传输的文件的大小并不重要)