- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我有一个应用程序从一个文本文件中读取,而该文本文件正在被另一个应用程序同时写入。读取文件的应用程序使用 C - fopen 以文本模式打开它。文件中的行可能很大,大小可达几百兆。出于这个原因,我们有一个函数可以使用 fgets 从文件中读取 4K block 并将其附加到字符串对象中,直到它设法读取完整的一行。尝试读取时,写入文件的应用程序可能写入了部分行。 Out 自定义 ReadLine 函数通过检测文件结尾、将文件指针重新设置到最后一个已知的正确位置并丢弃已经读取的文本来处理这种情况。
下面是该函数的样子:
#define MAX_BUF_SIZE 4096
bool ReadLine(FILE* fp, std::string& result, bool& isEof) {
result.clear();
long const lastOffset = ftell(fp);
bool hasReadOneLine = false;
isEof = false;
debug_print(lastOffset);
while (!hasReadOneLine && !isEof) {
char dataRead[MAX_BUF_SIZE];
memset(dataRead, 0, sizeof(dataRead));
if (fgets(dataRead, MAX_BUF_SIZE, fp) == NULL) {
if (feof(fp)) {
debug_print("Flag 1");
isEof = true;
} else {
debug_print("Flag 2");
result.clear();
fseek(fp, lastOffset, SEEK_SET); //reset the file pointer to where it was
return false;
}
}
result += dataRead;
hasReadOneLine = (result[result.length()-1] == '\n');
} // end loop
if (!hasReadOneLine) {
debug_print("Flag 3");
result.clear();
fseek(fp, lastOffset, SEEK_SET); //reset the file pointer to where it was
return false;
}
// drop the new-line character ...
if (result[ result.length()-1] == '\n') {
result.resize(result.size() - 1);
}
return true;
}
问题:我遇到过这样一种情况,在从文件中读取整行后,ReadLine() 函数在再次调用以读取下一行时返回先前读取的行的最后一个 block 。我记录了 ftell() 返回的 lastOffset 的值,并注意到在这种罕见的情况下,fgets 没有将文件指针移动到它读取的行的末尾。
我添加了一些调试行,但在我的例子中,唯一打印的是 lastOffset 值。
在 ReadLine 返回不完整行的调用中,lastOffset 的值为:21563617不完整行的长度为:920
在返回完整行之前的调用中,lastOffset 的值为:21442207上一次调用中读取的行的长度是:122331(包括换行符)
我的问题是:有没有人遇到过类似的问题?您对可能出现的问题有何看法?我不一定要寻找完整的答案,而只是寻找一些可能出错的提示。
**更新**
我设法用一个小实用程序重现了这个问题,以 4K 的 block 写入一个文件, sleep 间隔为 10 毫秒,而另一个程序(使用上述功能)同时从同一个文件读取。
看起来像执行 fseek() 来重新设置文件指针在上面的函数中是一个错误的选择,因为将文件指针重新设置到以前的位置并不一定会清除 C 库自己的内部缓冲区。我仍然不完全相信这个解释,因为在某些情况下(重现案例)文件指针重置从未发生过。
无论如何,我在网上做了更多搜索,有些线程似乎建议使用较低级别的流并在库本身中处理缓冲。所以我改变了上面函数的实现和它的其他助手来做到这一点。我现在使用 Windows 的 _sopen_s()/_read()/_lseek() 和 Linux/Solaris 的标准 POSIX 接口(interface)来执行较低级别的 IO 处理。通过这些更改,它似乎起作用了,我再也看不到这个问题了。
谢谢大家的宝贵时间。非常感谢您的所有意见。
苏曼
** 更新 2 **
现在我肯定知道原因了。问题是如果文件以文本模式打开,ftell() 和 fseek() 是不可靠的。如果文件以二进制模式打开,则上面的函数可以正常工作。
这是指向其他人之前发现此问题的文章的链接:http://arstechnica.com/civis/viewtopic.php?f=20&t=420490
这是一件好事,因为现在我有了一个需要更改 1 行而不是 200 行的修复程序! :-)
最佳答案
如果您的最大行大小小于 MAX_BUF_SIZE
,那么您可能需要考虑一个可以大大简化您的实现的替代解决方案。简而言之,使用 fread
而不是 fgets
:
void ReadLine(FILE* fp, std::string& result, bool& isEof)
{
static char dataRead[MAX_BUF_SIZE] = {0};
static int dataindex = 0;
int datalength = fread(dataRead,MAX_BUF_SIZE-dataindex,1,fp);
for (int i=0; dataRead[i]!='\n'; i++)
result += dataRead[i];
dataindex = result.length()+1;
memmove(dataRead,dataRead+dataindex,datalength-dataindex);
isEof = feof(fp);
}
注意事项:
此实现假定最后一行(因此文件本身)以换行符结尾。
您可以使用dataRead
/dataindex
作为循环缓冲区以避免memmove
操作。
关于c++ - fgets() 似乎没有正确移动文件指针,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21388323/
谁能帮我解决这个问题?我有一个 Tomcat 和简单的 JSF 应用程序:https://github.com/gooamoko/jsfbilling/ .当我在 Tomcat 上运行应用程序时,它运
我有两个这样的域类,第一个是 Manager : package com.mnm class Manager { String name; static hasMany = [ pro
当我运行以下代码时,打印输出似乎不正确。 void thread_Calc(int *pos) { printf("recieved %d\n", *pos); sig = -1; man
这个问题在这里已经有了答案: How to access a local variable from a different function using pointers? (10 个答案) 关闭
我编写了一个程序,其中列表构建器方法返回 IEnumerable of string,其中包括大量字符串(100 万个项目),我将其存储在 List of string 中,然后它将所有项目附加到 中
我正在尝试编写一个 IRC 类型的聊天客户端,它具有可以连接到服务器的客户端。我试图让它在本地 atm 上工作(使用 FIFOS 而不是套接字)。 我遇到了以下我似乎无法解决的问题: 接受新的客户端连
我的一个 cronjobs 每天发送一封电子邮件 35 6 * * * cd $EZPUBLISHROOT && $PHP runcronjobs.php -q 2>&1 我停止使用 cron sud
我使用 WPF 打印路径来处理在我们的应用程序中创建的大型图表。整个图表由视觉效果组成。 所谓的“DesignerPaginator”对图表进行分页(非常简单)。 从这一点来说,我做了以下三件事: -
我尝试在更新之前跟踪系统应用程序并使用: public static boolean isSystemApplication(Context ctx, IContent content) {
我在这里附上了一个查询分析结果,https://explain.depesz.com/s/x9BN 这是查询 EXPLAIN ANALYZE SELECT branche
我正在做一个 CXF(spring) 项目 (HUB)。部署后,我可以看到肥皂和休息服务列表,我通过两个地址打开它。一种是使用本地主机,第二种是使用我电脑的 ip。所以我得到了这些输出。 使用本地主机
这是一个 AnyHashable 不支持枚举转换的简单案例。 enum testEnum: String { case Test } let myObject: AnyHashable = t
我的主要目标是比较存储在数据库和 XLSX 文件中的数据。 为此,我按以下方式创建了两个列表: private class ProductList { public string produc
我从 CMake 3.6 更新到任何最新版本 (3.12.0-rc2),现在我的一个程序无法编译。 奇怪的是,错误消息显示了标准库本身中的 undefined symbol 。这是错误消息: Unde
我希望将我的自定义对话框动画化为从特定点出现,但我无法为对话框设置动画。 该对话框是一个基本的 RelativeLayout,设置为 extends Dialog 类中的布局。 正如这里的一些答案所建
我已经在这个论坛上调查过很多类似的问题,但似乎没有一个能解决我的问题。 我会在底部列出我在这个论坛上看到的一些问题页面,但让我先谈谈我对这个问题的看法。 我正在使用 codeigniter v 2.x
我正在尝试在 RHEL 7 上启动一个 docker-compose 项目作为 systemd 服务。这是我的 systemd 脚本 (/etc/systemd/system/wp.service):
这个问题已经有答案了: "Notice: Undefined variable", "Notice: Undefined index", "Warning: Undefined array key",
我正在尝试在 RHEL 7 上启动一个 docker-compose 项目作为 systemd 服务。这是我的 systemd 脚本 (/etc/systemd/system/wp.service):
此问题出现在my last question here之后。我想将每个按钮聚焦和失去焦点背景设置为主菜单(ContentPane 即 JPanel)下方的背景颜色,因此按钮看起来像选项卡。它在不同的环
我是一名优秀的程序员,十分优秀!