个人中心
文章发布
退出
作者热门文章
- Java 双重比较
- java - 比较器与 Apache BeanComparator
- Objective-C 完成 block 导致额外的方法调用？
- database - RESTful URI 是否应该公开数据库主键？
24
4
我有一些代码使用 BSD 套接字从服务器抓取网页并将其写入文件。以下是处理所有文件 I/O 以及使用套接字进行写入和读取的代码。请注意，_sockfd 是谈话者和听众之间的有效套接字:
FILE* resultFile;
resultFile = fopen(resultFilename.c_str(), "w+");
if (resultFile != 0)
{
// Construct the request
std::stringstream requestBuilder("");
requestBuilder << "GET " << directory << " HTTP/1.1\r\nHOST:" << _hostname << "\r\n\r\n";
std::string request = requestBuilder.str();
// Prepare to read the file and write it out
int bufferSize(1024);
char buffer[bufferSize];
int bytesRead(1);
// Send request
int bytesWritten = write(_sockfd, request.c_str(), request.length());
if (bytesWritten < 0)
{
std::cout << "Error on initial request send" << std::endl;
return false;
}
// Read response
while (bytesRead > 0)
{
bzero(buffer, bufferSize);
bytesRead = read(_sockfd, buffer, bufferSize);
if (bytesRead < 0)
{
std::cout << "WebCrawler -> ERROR: Could not read properly from socket" << std::endl;
return false;
}
fputs(buffer, resultFile);
}
fclose(resultFile);
_socketUsed = true;
我期望此代码产生的结果类似于以下片段:
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>
<head>
<title>Serebii.net Pokédex - #089 Muk</title>
<meta name="GENERATOR" content="Arachnophilia 4.0">
<meta name="FORMATTER" content="Arachnophilia 4.0">
<meta name="keywords" content="Pokemon, Pokédex, Muk (Pokémon),Muk, Diamond, Pearl, Platinum, HeartGold, SoulSilver" />
<link rel="stylesheet" type="text/css" HREF="/style/dex.css">
</head>
<meta http-equiv="imagetoolbar" CONTENT="no">
<link rel="stylesheet" type="text/css" HREF="http://www.serebii.net/spp-temp.css">
<LINK REL="SHORTCUT ICON" HREF="http://www.serebii.net/favicon.ico">
<BODY ondragstart="return false" text=#000000 bottomMargin=0 bgcolor="#383838"
leftMargin=0 topMargin=0 rightMargin=0>
<table border="0" cellpadding="0" cellspacing="0" style="border-collapse: collapse" bordercolor="#111111" width="100%" height="1" background="http://www.serebii.net/BannerBg.jpg">
<tr>
但是，它看起来像这样:
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>
<head>
<title>Serebii.net Pokédex - #089 Muk</title>
<meta name="GENERATOR" content="Arachnophilia 4.0">
<meta name="FORMATTER" content="Arachnophilia 4.0">
<meta name="keywords" content="Pokemon, PokÈdex, Muk (PokÈmon),Muk, Diamond, Pearl, Platinum, HeartGold, SoulSilver" />
<link rel="stylesheet" type="text/css" HREF="/style/dex.css">
</head>
8c1
<meta http-equiv="imagetoolbar" CONTENT="no">
<link rel="stylesheet" type="text/css" HREF="http://www.serebii.net/spp-temp.css">
<LINK REL="SHORTCUT ICON" HREF="http://www.serebii.net/favicon.ico">
<BODY ondragstart="return false" text=#000000 bottomMargin=0 bgcolor="#383838"
leftMargin=0 topMargin=0 rightMargin=0>
<table border="0" cellpadding="0" cellspacing="0" style="border-collapse: collapse" bordercolor="#111111" width="100%" height="1" background="http://www.serebii.net/BannerBg.jpg">
<tr>
如您所见，我的代码以某种方式在结果中插入了奇怪的字符(在本例中为“8c1”)。我想强调的是，这种情况在整个 HTML 文档中多次发生。为了简洁起见，我只是将自己限制在其中的一个示例中。我怀疑我可能以某种方式滥用了缓冲区，但到目前为止我一直无法找到解决方案。
我之前为解决问题所做的努力包括以下 SO 问题:
C Winsock programming: input garbage
Raw Sockets : Receiver printing garbage values
我还引用了以下页面以确保我正确地执行了 C 文件 I/O(我习惯于在 C++ 中使用 fstream):
http://www.cprogramming.com/tutorial/cfileio.html
我对使用套接字进行网络编程非常缺乏经验(您可能会说)，而且我确信我在某个地方犯了一个愚蠢的错误。对于那些比我更有经验的人:即使你不能直接指出我的解决方案，请分享你对我可能犯错的想法。有时我们需要找到答案的只是一些放置得当的面包屑。为此，如果我显示的代码有误和/或您认为代码的另一部分可能更有用，请告诉我。
此外，这是我的第一个 SO 问题。请按您认为合适的方式对其进行评论，以确保我 future 的问题更好，更适合该网站。
****更新 1****(在 Mark Ransom 建议将 fputs 更改为 fwrite 之后):
我将 fputs(buffer, resultFile); 更改为 fwrite(buffer, 1, bytesRead, resultFile);。我现在明白了，用在这种情况下比较合适。
但是，我的问题仍然存在。事实上，我发现在新代码(和我的旧代码)连续执行 5 次之后，我在原始问题中错误地称为“垃圾”值的错误值每次都完全相同。它们一点也不随机。我更改了问题的标题以更恰本地描述我的问题。
经过更多探索后，我想在读取产生与文件写入相同的结果后将打印 buffer 添加到控制台。
最佳答案
您在 fputs(buffer, resultFile); 中遇到缓冲区溢出，因为写入不会在缓冲区末尾停止 - 它会在找到的第一个零字符处停止，这位于缓冲区末尾后内存中的某个随机位置。请改用 fwrite。
关于c++ - 不寻常的、意想不到的值插入到 HTML 页面抓取中，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/11961316/
24
4
0
我是一名优秀的程序员,十分优秀！