Linux:上传未完成的文件-进行文件大小检查(scp/rsync)

Question

Closed. This question is off-topic。它当前不接受答案。












想要改善这个问题吗？ Update the question，所以它是用于堆栈溢出的 on-topic。

9年前关闭。



Improve this question




我通常会遇到以下情况:我有一个来自摄像头的650 MB MPEG-2 .avi视频文件。然后，我使用 ffmpeg2theora将该文件转换为Theora .ogv视频文件，其大小约为150 MB。最后，我想将此.ogv文件上传到 ssh服务器。

假设 ffmpeg2theora编码过程在我的PC上花费了大约15分钟。另一方面，上传速度约为60 KB/s，大约需要45分钟(对于150MB .ogv)。因此:如果我先编码，然后等待编码过程完成-然后上传，则大约需要

15 min + 45 min = 1 hr

完成操作。

因此，我认为最好以某种方式与编码操作并行地开始上传；然后，原则上-由于上传过程(以传输的字节/秒为单位)比编码过程更慢(就生成的字节/秒而言)-上传过程将始终“落后”于编码之一，因此整个操作(enc + upl)仅需45分钟即可完成(也就是说，上传过程仅需+/-几分钟的时间，具体取决于网络上实际的上传速度)。

我的 的第一个想法是，将 ffmpeg2theora的输出通过管道传输到 tee(以便保留.ogv的本地副本)，然后将输出进一步通过管道传输到 ssh-如下所示:

./ffmpeg2theora-0.27.linux32.bin -v 8 -a 3 -o /dev/stdout MVI.AVI | tee MVI.ogv | ssh user@ssh.server.com "cat > ~/myvids/MVI.ogv"

尽管此命令确实起作用，但可以从 ffmpeg2theora在终端的运行日志中轻松查看，在这种情况下， ffmpeg2theora计算出的预计完成时间为1小时；也就是说，enc + upl的完成时间较短似乎没有任何好处。 (虽然这可能是由于网络拥塞造成的，而我当时网络速度越来越慢-在我看来， ffmpeg2theora必须等待通过管道发送的每小部分数据的确认， ACK最终必须来自 ssh ...否则， ffmpeg2theora将无法提供完成时间估算值，那么，也许估算值是错误的，而该操作确实会在45分钟内完成-dunno，从来没有耐心等待和安排时间；我只是在估计的1个小时就生气了，然后按Ctrl-C;)...)

我的 第二次尝试是在一个终端窗口中运行编码过程，即:

./ffmpeg2theora-0.27.linux32.bin -v 8 -a 3 MVI.AVI      # MVI.ogv is auto name for output

...，以及使用 scp在另一个终端窗口中的上传过程(从而“强制”“并行化”):

scp MVI.ogv user@ssh.server.com:~/myvids/

这里的问题是:假设在 scp启动时， ffmpeg2theora已经对5 MB的输出.ogv文件进行了编码。此时， scp将这5 MB视为整个文件大小，并开始上传-遇到5 MB标记时退出；同时， ffmpeg2theora可能又产生了15 MB，使ogt_code退出时.ogv文件的总大小为20 MB(完成了前5 MB的传输)。

然后，我了解到( joen.dk » Tip: scp Resume) scp支持“恢复”部分完成的上载，如下所示:

rsync --partial --progress myFile remoteMachine:dirToPutIn/

...，所以我尝试使用 rsync而不是 rsync-但就文件大小而言，它的行为似乎与 scp完全相同，也就是说:它只会传输到过程开始时读取的文件大小，并且然后它将退出。

因此，我对社区的问题是:是否可以并行化编码和上传过程，从而减少总处理时间？

我猜可能有几种方法，例如:

一个命令行选项(我没有看到)，它强制scp/scp连续检查文件大小-如果文件已打开供其他进程写入(然后我可以在另一个终端窗口中简单地运行上载)

一个bash脚本；假设在rsync循环中运行rsync --partial，只要打开.ogv文件以供其他进程进行写入即可运行(我实际上并不喜欢此解决方案，因为每次运行时我都能听到硬盘扫描恢复点的信息。 while-我想这不好；如果我知道同一时间正在写入同一文件)

一种不同的工具(rsync --partial/scp除外)，它确实支持“当前生成的”/“未完成的”文件的上载(假设它只能处理正在增长的文件；如果遇到本地文件突然变少的情况，它将退出。大小超过已传输的字节)

...但是也有可能是我忽略了某些东西-1小时就足够了(换句话说，逻辑上不可能达到45分钟的总时间-即使尝试并行化):)

好吧，我期待着希望能为我澄清这一点的评论；)

提前致谢，
干杯!

最佳答案

也许您可以尝试使用sshfs(http://fuse.sourceforge.net/sshfs.html)。尽管我不太确定，但是这是一个文件系统，应该进行一些优化。

关于Linux:上传未完成的文件-进行文件大小检查(scp/rsync)，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/4290879/

上一篇：php - MySQL查看列名大小写

下一篇：c - SFIO 相对于 STDIO 的优势是否仍然有效？

相关文章：

linux - 未找到新的系统调用(linux 内核 3.0.0)我应该从哪里开始寻找？

linux - 运行 MONGODB 的 Linux 服务器是否会受到 2016 年添加闰秒计划的影响？

html - 选择要上传的文件会导致移动版 Safari 崩溃

docker - 如何在不增加存储空间的情况下复制具有overlayfs目录结构的数据*原样*的/var/lib/docker

concurrency - rsync 如何处理并发文件访问？

python - 从另一个 bash 脚本运行的 bash 脚本运行 python

linux - sed 循环遍历文件中的行列表

perl - 在处理上传请求之前，如何在 Perl 中获取文件大小？

django - 使用 Django 上传多个文件

mysql - 是否可以使用 drush 将文件 rsync 到 MySQL 转储的 drush 转储目录？

Answer 1

也许您可以尝试使用sshfs(http://fuse.sourceforge.net/sshfs.html)。尽管我不太确定，但是这是一个文件系统，应该进行一些优化。