- r - 以节省内存的方式增长 data.frame
- ruby-on-rails - ruby/ruby on rails 内存泄漏检测
- android - 无法解析导入android.support.v7.app
- UNIX 域套接字与共享内存(映射文件)
我正面临一个最近才开始出现的令人费解的问题。
我有一个程序,它使用一个线程写入一个文件,另一个线程从该文件中读取。两个线程都使用不同的文件描述符。写入线程使用 O_WRONLY 标志打开文件,读取线程以 O_RDONLY 模式打开文件。就逻辑而言,读取线程不知道写入线程在做什么,并且两者都可能为此使用不同的文件。
写入器线程定期连续写入文件(数据来自高达 20Mbit/s 的设备流)。
读取器线程也会定期读取文件。
这是阅读器循环:
while (tot < sz)
{
LOG(VB_FILE, LOG_DEBUG, LOC +
QString("read(%1) -- begin").arg(sz-tot));
ret = read(fd2, (char *)data + tot, sz - tot);
LOG(VB_FILE, LOG_DEBUG, LOC +
QString("read(%1) -> %2 end").arg(sz).arg(ret));
if ((sz - tot) != ret)
{
LOG(VB_FILE, LOG_DEBUG, LOC + QString("errno = %1").arg(errno));
}
if (ret < 0)
{
if (errno == EAGAIN)
{
LOG(VB_FILE, LOG_DEBUG, LOC +
QString("read(%1) -> %2 EAGAIN").arg(sz).arg(ret));
usleep(1000);
continue;
}
LOG(VB_GENERAL, LOG_ERR,
LOC + "File I/O problem in 'safe_read()'" + ENO);
errcnt++;
numfailures++;
if (errcnt == 3)
break;
}
else if (ret > 0)
{
tot += ret;
}
[...snipped...]
}
你可以看到我在调用 read 之前和它返回之后显示了一个日志。时不时会调用read,再也回不来了...
2014-02-19 11:24:10.156417 D TFW(/external/recordings/1001_20140219002351.mpg:64): write(65424) cnt 1 total 5076
2014-02-19 11:24:10.156466 D TFW(/external/recordings/1001_20140219002351.mpg:64): total written so far: 26934760 bytes
2014-02-19 11:24:10.156514 D FileRingBuf(/external/recordings/1001_20140219002351.mpg): read(65536) -- begin
2014-02-19 11:24:10.190769 D FileRingBuf(/external/recordings/1001_20140219002351.mpg): read(65536) -> 60968 end
2014-02-19 11:24:10.190781 I RingBuf(/external/recordings/1001_20140219002351.mpg): safe_read(...@1698944, 65536) -> 65536, took 60 ms (8.73813Mbps)
2014-02-19 11:24:10.190786 D RingBuf(/external/recordings/1001_20140219002351.mpg): total read so far: 26930304 bytes
2014-02-19 11:24:10.190795 I FileRingBuf(/external/recordings/1001_20140219002351.mpg): read(65536) -- begin
2014-02-19 11:24:10.195917 D FileRingBuf(/external/recordings/1001_20140219002351.mpg): read(65536) -> 4456 end
2014-02-19 11:24:10.195927 D FileRingBuf(/external/recordings/1001_20140219002351.mpg): errno = 0
2014-02-19 11:24:10.206445 D TFW(/external/recordings/1001_20140219002351.mpg:64): write(65424) cnt 1 total 1692
2014-02-19 11:24:10.206489 D TFW(/external/recordings/1001_20140219002351.mpg:64): total written so far: 27000184 bytes
2014-02-19 11:24:10.256103 D FileRingBuf(/external/recordings/1001_20140219002351.mpg): read(61080) -- begin
2014-02-19 11:24:10.256499 D TFW(/external/recordings/1001_20140219002351.mpg:64): write(47376) cnt 1 total 40984
2014-02-19 11:24:10.262073 D TFW(/external/recordings/1001_20140219002351.mpg:64): total written so far: 27047560 bytes
2014-02-19 11:24:10.273385 D TFW(/external/recordings/1001_20140219002351.mpg:64): write(65424) cnt 1 total 940
2014-02-19 11:24:10.385495 D TFW(/external/recordings/1001_20140219002351.mpg:64): total written so far: 27112984 bytes
你可以在这里看到写入器已经向磁盘写入了 26934760 字节。到目前为止,读取已读取 26930304 个字节,因此我们距离 EOF 有 4456 个字节。然后尝试读取 64kB,读取几乎立即返回 4456 字节。到目前为止,一切都很好。立即尝试对 61080 字节 (65536-4456) 进行另一次读取。
不久之后,写入线程再次写入文件。64kB 读取现在永远等待,并且不会再出来 30+ 秒。
那么对于为什么读取会突然永远阻塞有什么特别的想法吗?
编辑:从行为上看,如果您在新的写入发生之前立即重试读取,那么阻塞似乎总是在读取达到 EOF 并提前返回时发生。在这种情况下,read 会持续数秒(通常为 20+)才会退出
最佳答案
好的...
我已经发现了这个问题以及如何解决它。
如原始问题中所述,一旦读取到达 EOF,阻塞似乎总是发生,提早返回并立即重试读取(在对文件进行新写入之前)。
在这种场景下,read()会持续数秒(一般20秒以上)才会退出
因此解决方法是记录到目前为止我们读取了多少字节,以便它知道它在文件中的位置,然后调用 fstat 来检查文件的大小。因此,如果我们已经在文件末尾,请确保我们永远不会调用 read() 或要求 read() 检索比文件中更多的字节。
struct stat sb;
off_t current_pos = internalreadpos;
while (tot < sz)
{
off_t toread = sz - tot;
bool read_ok = true;
// check that we have some data to read,
// so we never attempt to read past the end of file
// if fstat errored or isn't a regular file, default to previous behavior
ret = fstat(fd2, &sb);
if (ret == 0 && S_ISREG(sb.st_mode))
{
if (current_pos >= sb.st_size)
{
// We're at the end, don't attempt to read
read_ok = false;
LOG(VB_FILE, LOG_DEBUG, LOC + "not reading, reached EOF");
}
else
{
toread = min(sb.st_size - current_pos, toread);
if (toread < (sz-tot))
{
LOG(VB_FILE, LOG_DEBUG,
LOC + QString("About to reach EOF, reading %1 wanted %2")
.arg(toread).arg(sz-tot));
}
}
}
if (read_ok)
{
LOG(VB_FILE, LOG_DEBUG, LOC +
QString("read(%1) -- begin").arg(toread));
ret = read(fd2, (char *)data + tot, toread);
LOG(VB_FILE, LOG_DEBUG, LOC +
QString("read(%1) -> %2 end").arg(toread).arg(ret));
}
if (ret < 0)
{
if (errno == EAGAIN)
continue;
LOG(VB_GENERAL, LOG_ERR,
LOC + "File I/O problem in 'safe_read()'" + ENO);
errcnt++;
numfailures++;
if (errcnt == 3)
break;
}
else if (ret > 0)
{
tot += ret;
current_pos += ret;
}
if (oldfile)
break;
if (ret == 0) // EOF returns 0
{
if (tot > 0)
break;
zerocnt++;
// 0.36 second timeout for livetvchain with usleep(60000),
// or 2.4 seconds if it's a new file less than 30 minutes old.
if (zerocnt >= (livetvchain ? 6 : 40))
{
break;
}
}
关于c++ - 为什么对 read() 的调用会永远阻塞,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21868812/
有人可以解释预定义谓词forall如何在列表中找到最小值吗? 最佳答案 对于列表L,您可以使用: member(Min,L), forall(member(N,L), N>=Min). 但是,尽管这是
编辑:澄清一下,我正在搜索的对象数组确实已按搜索变量的字母数字顺序进行了预排序。 我做了一个二分搜索函数并将它嵌套在另一个函数中。出于某种原因,每次我使用二进制搜索都无法找到相关的字符数组。 基本上,
是否可以阻止用户(甚至是管理员)终止我的程序? 或者万一被杀死,它会迅速恢复自身? 更新:澄清一下:我正在编写一个监控程序,类似于家长控制,它记录用户对 PC 的操作。你可以通过查看我最近的其他问题来
我有一个 for 循环,我希望它永远递增。 我的代码: for a in (0...Float::INFINITY).step(2) puts a end 输出: 0.0 2.0 4.0 Et
我很困惑。我有一个运行Ubuntu 14.04的VM。我在这里遵循了以下程序:http://clang.llvm.org/docs/LibASTMatchersTutorial.html,现在正在运行
这是我的代码 #include #include #include #include #include #include #include #include #include usi
我有一个程序会或多或少地通过标准输入使用 COPY FROM 将大量数据复制到 Postgres 9 中。 这目前工作正常,但我正在缓冲数据 block ,然后分批运行 COPY FROM 操作。 我
我想我不小心在某个地方安装了 Foreverjs 并启动了它。每次我杀死这个进程时,另一个进程就会取代它的位置 ] 1 我不知道永远在哪里(或者这实际上是导致它的原因),因为我在本地安装了它。 最佳答
我得到了一个 forever: command not found 当我使用 forever 命令作为 cronjob 运行 nodejs 进程时出现错误(在亚马逊 ec2 机器中):我正在使用的 b
我创建了一些容器,它们还没有准备好使用,总是“重新启动”状态: docker ps CONTAINER ID IMAGE COMMAND
我试图永远重复一个 IO 操作,但是将一个执行的结果输入到下一个执行中。像这样的东西: -- poorly named iterateM :: Monad m => (a -> m a) -> a -
这里的代码样式问题。 我看着this问题,它询问.NET CLR是否真的总是初始化字段值。 (答案是肯定的。)但令我感到惊讶的是,我不确定执行此操作始终是个好主意。我的想法是,如果我看到这样的声明:
美好的一天,我对永久启动\停止脚本有一些问题。 中央操作系统 6.2 内核 2.6.32-220.el6.x86_64 node.js v0.6.19 npm v 1.1.24 永远@0.9.2 我创
我在让管道与 paramiko 一起工作时遇到问题。 这个有效: ssh = paramiko.SSHClient() [...] stdin, stdout, stderr = ssh.exec_c
我希望守护我的 Node.js 应用程序。 Upstart 和永远有什么区别?另外,还有其他我可能想要考虑的软件包吗? 最佳答案 正如评论中指出的,upstart将用于启动 forever脚本,因为
我有以下查询,其中包含在 5 秒内返回数据的选择查询。但是当我在前面添加创建物化 View 命令时,查询需要创建物化 View 。 最佳答案 当您创建物化 View 时,实际上是创建了 Oracle
当我今天访问我的项目的 Google Cloud 控制台并单击“计算引擎”或“云存储”时,它只会永远显示“正在加载”。几天前,我能够看到我的虚拟机和存储桶。有没有办法让控制台再次工作? 谢谢, 麦克风
我编写了一个函数,它当前显示 1000 以下的所有质数。 我可以继续增大 1000 以生成更多数字,但我不知道如何让它在运行后一直持续下去。 func generatePrimes() { l
这是由 another question 触发的. 具体来说,我有一个进程中的 COM 类,它在 CLSID registry 中定义。因为有 ThreadingModel of Both . 我们的
我正在试用新的 React Hooks的 useEffect API,它似乎永远在无限循环中运行!我只希望 useEffect 中的回调运行一次。这是我的引用代码: 单击“运行代码片段”以查看“运行
我是一名优秀的程序员,十分优秀!