c++ - 不寻常的、意想不到的值插入到 HTML 页面抓取中-6ren

c++ - 不寻常的、意想不到的值插入到 HTML 页面抓取中

转载作者：搜寻专家更新时间：2023-10-31 01:52:52

24

4

我有一些代码使用 BSD 套接字从服务器抓取网页并将其写入文件。以下是处理所有文件 I/O 以及使用套接字进行写入和读取的代码。请注意，_sockfd 是谈话者和听众之间的有效套接字:

    FILE* resultFile;
    resultFile = fopen(resultFilename.c_str(), "w+");

    if (resultFile != 0)
    {
        // Construct the request
        std::stringstream requestBuilder("");
        requestBuilder << "GET " << directory << " HTTP/1.1\r\nHOST:" << _hostname << "\r\n\r\n";

        std::string request = requestBuilder.str();

        // Prepare to read the file and write it out
        int bufferSize(1024);
        char buffer[bufferSize];
        int bytesRead(1);

        // Send request
        int bytesWritten = write(_sockfd, request.c_str(), request.length());
        if (bytesWritten < 0)
        {
            std::cout << "Error on initial request send" << std::endl;
            return false;
        }

        // Read response
        while (bytesRead > 0)
        {
            bzero(buffer, bufferSize);
            bytesRead = read(_sockfd, buffer, bufferSize);

            if (bytesRead < 0)
            {
                std::cout << "WebCrawler -> ERROR: Could not read properly from socket" << std::endl;
                return false;
            }

            fputs(buffer, resultFile);
        }

        fclose(resultFile);
        _socketUsed = true;

我期望此代码产生的结果类似于以下片段:

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>

<head>
<title>Serebii.net Pok&eacute;dex - #089 Muk</title>

<meta name="GENERATOR" content="Arachnophilia 4.0">
<meta name="FORMATTER" content="Arachnophilia 4.0">
<meta name="keywords" content="Pokemon, Pokédex, Muk (Pokémon),Muk, Diamond, Pearl, Platinum,     HeartGold, SoulSilver" />
<link rel="stylesheet" type="text/css" HREF="/style/dex.css">

</head>

<meta http-equiv="imagetoolbar" CONTENT="no">
    <link rel="stylesheet" type="text/css" HREF="http://www.serebii.net/spp-temp.css">
   <LINK REL="SHORTCUT ICON" HREF="http://www.serebii.net/favicon.ico">

<BODY  ondragstart="return false"  text=#000000 bottomMargin=0 bgcolor="#383838" 
leftMargin=0 topMargin=0 rightMargin=0>
    <table border="0" cellpadding="0" cellspacing="0" style="border-collapse: collapse"     bordercolor="#111111" width="100%" height="1" background="http://www.serebii.net/BannerBg.jpg">
      <tr>

但是，它看起来像这样:

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>

<head>
<title>Serebii.net Pok&eacute;dex - #089 Muk</title>

<meta name="GENERATOR" content="Arachnophilia 4.0">
<meta name="FORMATTER" content="Arachnophilia 4.0">
<meta name="keywords" content="Pokemon, PokÈdex, Muk (PokÈmon),Muk, Diamond, Pearl, Platinum,     HeartGold, SoulSilver" />
<link rel="stylesheet" type="text/css" HREF="/style/dex.css">

</head>


8c1
<meta http-equiv="imagetoolbar" CONTENT="no">
    <link rel="stylesheet" type="text/css" HREF="http://www.serebii.net/spp-temp.css">
   <LINK REL="SHORTCUT ICON" HREF="http://www.serebii.net/favicon.ico">

<BODY  ondragstart="return false"  text=#000000 bottomMargin=0 bgcolor="#383838" 
leftMargin=0 topMargin=0 rightMargin=0>
    <table border="0" cellpadding="0" cellspacing="0" style="border-collapse: collapse" bordercolor="#111111" width="100%" height="1" background="http://www.serebii.net/BannerBg.jpg">
      <tr>

如您所见，我的代码以某种方式在结果中插入了奇怪的字符(在本例中为“8c1”)。我想强调的是，这种情况在整个 HTML 文档中多次发生。为了简洁起见，我只是将自己限制在其中的一个示例中。我怀疑我可能以某种方式滥用了缓冲区，但到目前为止我一直无法找到解决方案。

我之前为解决问题所做的努力包括以下 SO 问题:

C Winsock programming: input garbage

Raw Sockets : Receiver printing garbage values

我还引用了以下页面以确保我正确地执行了 C 文件 I/O(我习惯于在 C++ 中使用 fstream):

http://www.cprogramming.com/tutorial/cfileio.html

我对使用套接字进行网络编程非常缺乏经验(您可能会说)，而且我确信我在某个地方犯了一个愚蠢的错误。对于那些比我更有经验的人:即使你不能直接指出我的解决方案，请分享你对我可能犯错的想法。有时我们需要找到答案的只是一些放置得当的面包屑。为此，如果我显示的代码有误和/或您认为代码的另一部分可能更有用，请告诉我。

此外，这是我的第一个 SO 问题。请按您认为合适的方式对其进行评论，以确保我 future 的问题更好，更适合该网站。

****更新 1****(在 Mark Ransom 建议将 fputs 更改为 fwrite 之后):

我将 fputs(buffer, resultFile); 更改为 fwrite(buffer, 1, bytesRead, resultFile);。我现在明白了，用在这种情况下比较合适。

但是，我的问题仍然存在。事实上，我发现在新代码(和我的旧代码)连续执行 5 次之后，我在原始问题中错误地称为“垃圾”值的错误值每次都完全相同。它们一点也不随机。我更改了问题的标题以更恰本地描述我的问题。

经过更多探索后，我想在读取产生与文件写入相同的结果后将打印 buffer 添加到控制台。

最佳答案

您在 fputs(buffer, resultFile); 中遇到缓冲区溢出，因为写入不会在缓冲区末尾停止 - 它会在找到的第一个零字符处停止，这位于缓冲区末尾后内存中的某个随机位置。请改用 fwrite。

关于c++ - 不寻常的、意想不到的值插入到 HTML 页面抓取中，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/11961316/

24

4

0

文章推荐： c++ - Swig 包装 GLM 库

sql - 哪个最快，1x 插入 512 行，4x 插入 128 行，或 512x 插入 1 行
我有 512 行要插入到数据库中。我想知道提交多个插入内容是否比提交一个大插入内容有任何优势。例如 1x 512 行插入 -- INSERT INTO mydb.mytable (id, phonen
sql:删除 + 插入 vs 更新 + 插入
已经提出了类似的问题，但由于它总是取决于，我单独询问我的具体情况。我有一个网站页面，显示来自数据库的一些数据，要从该数据库生成数据，我必须执行一些相当复杂的多连接查询。数据每天(每晚)更新一次。
python - pymongo 插入 vs pymysql 插入
我正在使用 MongoDb 和 MySQL 的 python 连接器 pymongo 和 pymysql 测试 MongoDb 和 MySQL，特别是插入功能。 pymongo版本是3.4，pymys
sql - 大型 SQL 插入 TVF 与 BULK 插入
从 C# 应用程序插入大型数组(10M 元素)的最快方法是什么？到目前为止，我使用的是批量插入。 C# 应用程序生成一个大文本文件，我使用 BULK INSERT 命令加载它。出于好奇，我编写了一个
java - 语法错误 : insert "enum Identifier", 插入 "EnumBody"，插入 "}"
我编写了一个枚举类型，当我为它运行我创建的 JUnit 测试时会出现以下语法错误: java.lang.Error: Unresolved compilation problems: Synt
C二叉搜索树实现——插入
我正在尝试创建一个程序，它将单词列表作为输入，并将它们排序为二叉树，以便能够找到它们，例如像字典。这是我到目前为止所做的，但是 newEl -> el = input; 出现段错误，我知道这是因为它试
latex - 缺少 $ 插入
你好我有编译这个问题 \begin{equation} J = \sum_{j=1}^{C} \end{equation} 我不断收到错误 missing $ inserted 这很奇怪，因
没有主键的 Linq 插入
我需要使用 LINQ to SQL 将记录插入到没有主键的表中。 table 设计得很差；我无法控制表结构。该表由几个 varchar 字段、一个文本字段和一个时间戳组成。它用作其他实体的审计跟踪。
插入 PdfCell 时图像会调整大小
我正在尝试使用 itextsharp 创建 Pdf。我添加了一张包含两列的表格，其中一列包含文本和其他图像。我想要恒定的图像大小如果另一个单元格中的文本增加并且其他单元格中的图像大小不同，我的图像会
php - 插入…………从中选择
我想把 calory 作为 fruits 的第一个值，我做不到，有人能帮忙吗？ $sql = 'INSERT INTO fruits VALUES('', ?, ?, ?)'
r - 插入/扩展季度到月度系列
我有一个包含季度观察结果的 data.frame。我现在想插入每月值(首选三次，线性很好)。中间目标应该是使用 DATE 创建一个 data.frame作为所有每月观察的索引和缺失值。谷歌搜索表明我
sql - 用数组“插入”
我想知道是否有办法在值列表中使用“插入”。我正在尝试这样做: insert into tblMyTable (Col1, Col2, Col3) values('value1', value
Javascript 插入 IFRAME
我想让人们能够在他们的网站中插入单个 Javascript 行，这实际上允许我插入包含我网站内容的固定大小的 IFRAME。它实际上是一个小部件，允许他们搜索我的网站或接收其他信息。这可能吗？最佳答
c# - 插入、选择和更新日期时间
我有一个包含时间的表，列名为 time，数据类型为 Date。在 asp.net 中，我想要一个查询插入日期，另一个查询则在 2 个日期之间进行选择。我已经尝试过这个: string data =
triggers - 触发编译错误(插入)
这是我的代码: create or replace trigger th after insert on stock for each row declare sqty number;
使用存储过程的具有唯一约束的 SQL 插入
这是一个带有具体示例的通用问题。我有一个包含三个字段(流派 ID (PK IDENTITY)、流派和子流派)的表。该表对(流派，子流派)组合具有唯一约束。我想知道如何修改存储过程以在表中不存在时插
Java:插入/替换到特定大小的排序数组
因此，我正在遍历二叉树，节点包含字符串，以及读取文件时该字符串是否出现多次。我只查找读取文件时出现次数最多的前 10 个单词，因此本质上我只是比较 int 值。我的问题是我正在尝试找出一种有效的方法
c++ - 插入 map
我有一张机票和行李 map ，每张门票必须是唯一的，并且必须与 map 上的位置相对应是否可以仅更改行李(m_bagage->秒)而不更改 key ？ std::unordered_map m_c
Java Jdbc 插入
我正在使用 jdbc 驱动程序做一个示例项目。我的问题是，如果我在 2 文本字段中输入空值。 null 不应该加载到数据库中吗？有没有办法避免在数据库中插入空字段？任何帮助将不胜感激。 //Execu
SSIS:插入/更新
我想知道 SSIS 中是否有特定的插入或更新选项。如果我想让程序检查它是更新还是插入，我是否必须做一些编码？或者是否可以启用一个选项，以便它会自行检查 PK 是否存在，然后更新，否则插入？亲切的问

首页

博学

6Ren·AI

商城

c++ - 不寻常的、意想不到的值插入到 HTML 页面抓取中