个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
25
4
Facebook 的 URL 抓取工具是否有大小限制？我们在网站上有几本书。那些 HMTL 文件大小低于一定大小 (~390KB) 的文件会被抓取并正确读取，但较大的 4 个文件则不会。这些较大的项目会收到 200 响应代码，并且会打开规范 URL。
所有这些页面都是使用相同的模板构建的，唯一的区别是每本书中内容的大小以及每本书与网站上其他页面的链接数量。
最佳答案
您的问题的解决方案可能是检查真实用户或 Facebook 机器人是否正在访问您的页面。如果是机器人，则只为它渲染必要的元数据。您可以通过其用户代理检测机器人，根据 Facebook documentation是:"facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)"
代码看起来像这样(在 PHP 中):
function userAgentIsFacebookBot() {
if ($_SERVER['HTTP_USER_AGENT'] == "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)") {
return true;
}
return false;
}
关于facebook - Scraper 在超过 ~390KB 的文件上失败，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/11915087/
25
4
0
我需要创建一个脚本来发出 HTTP 请求并模拟浏览器在 cookie 管理方面的行为。这意味着它可以访问该“页面”设置的所有 cookie(服务器设置 cookie、异步客户端设置 cookie、每个
我有一个简单的 JavaScript 抓取工具，用于本地页面。 我会找到所有“title”类元素的 id 属性。 问题是，当我在屏幕上打印变量时，变量(title1)永远是“未定义”，而不是像它必须的
我编写了一些代码来解析来自 yell.com 的不同商店的名称、地址和电话号码。如果为我的爬虫提供了任何链接，它就会解析整个内容，而不管它分布在多少页面上。然而，我能发现的唯一问题是它总是跳过第一页的
我用 python 结合 BeautifulSoup 编写了一个脚本，使用其分页按钮转到网站的下一页 (有一个链接连接到这个按钮)直到没有新的页面可供抓取。我的脚本可以使用分页链接抓取下一页。然而，问
我用 python 编写了一个脚本，用于从 craigslist 中抓取五个项目的“姓名”和“电话”。我面临的问题是，当我运行脚本时，它只给出三个结果而不是五个结果。更具体地说，由于前两个链接的页面中
我用 python 结合 selenium 编写了一个脚本来解析网页中的名称。该网站的数据未启用 JavaScript。然而，下一页链接是在 javascript 内的。由于如果我使用 request
我在 python 中编写了一个小脚本，使用 xpath 从 yahoo finance 中抓取显示在左侧区域的标题。该页面中有几个标题，但是当我运行我的脚本时，我只得到三个标题。我不想在这种情况下使
已关闭。此问题旨在寻求有关书籍、工具、软件库等的建议。不符合Stack Overflow guidelines .它目前不接受答案。 我们不允许提问寻求书籍、工具、软件库等的推荐。您可以编辑问题，以
我用 python 结合 Selenium 编写了一个脚本，以提取 finance.yahoo 网站左侧栏中显示的不同新闻的标题。我已经使用 css 选择器来获取内容。但是，该脚本既没有给出任何结果也
我用 python 结合 selenium 编写了一个脚本，以便在搜索时显示一些名称和相应的地址，搜索关键字是“Saskatoon”。但是，在这种情况下，数据会遍历多个页面。除了一件事，我的脚本几乎完
例如，我有下一张 table First 1 Second 2
想要在某些 channel 统计数据中删除youtube，并了解其工作原理。并且比作csv作以下分析。使用this video创建和学习。 我有2个文件: main.py，youtube_statis
我正在尝试抓取此页面 https://www.teamrankings.com/nba/team/cleveland-cavaliers但我需要当您单击“投注 View ”时显示的网格...我遇到了一
我编写了一个抓取工具来解析来自 torrent 站点的电影信息。我使用了 IE 和 queryselector。 我的代码确实解析了所有内容。当一切完成后，它会抛出错误而不是退出浏览器。如果我取消错误
我正在尝试创建一个在名为 https://en.wikipedia.org/wiki/North_Korea_and_weapons_of_mass_destruction 的维基百科页面上启动的蜘蛛
我正在尝试抓取this网站使用 python 为献血营准备数据库。 首先，在尝试从 requests 或 urllib 获取网站 html 源代码时，存在 SSl:certificate_verify
我正在尝试使用允许空格和句点的正则表达式编写一个 python scraper。 我正在尝试从某个网站获取棒球队名称，因此有些是 Miami (全字)，但其他是 San Francisco (带空格)
我已经用Python创建了一个网络爬虫，但是在最后打印时我想打印我已经下载的(“Bakerloo:”+ info_from_website)，正如你在代码中看到的那样，但它总是像info_from_w
我有这个代码: #!/opt/local/bin/perl use 5.014; use warnings; use Web::Scraper; use Data::Dumper; my $html
我正在尝试使用 Scrapy 来抓取该网站。 首先这是我的代码-: from twisted.internet import reactor from scrapy.crawler import Cr
我是一名优秀的程序员,十分优秀！