个人中心
文章发布
退出
作者热门文章
- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时，我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
25
4
尝试从此网站抓取威士忌名称、image_url 和描述:https://www.thewhiskyexchange.com/c/33/american-whiskey?filter=true#productlist-filter使用cheerio.js。我想将该信息转换为 JSON 对象数组以存储在我的 MongoDB 中。无法显示网站的整个html，但这里是无序列表的相关基本结构的一部分:
<body>
<div class="siteWrapper">
<div class="wrapper">
<div class="products-wrapper">
<ul class="products-list">
<li>
<a>
<div class="product-content">
<div class="information">
<p class="name">
" Jack Daniel's Old No. 7"
<span>Small Bottle</span>
</p>
</div>
</div>
</a>
</li>
<li></li>
<li></li> etc. </all closing tags>
一开始只是尝试在 <p class="name"> 中获取威士忌名称，没有来自 <span> 的任何文本标签，我在浏览器控制台中使用了这个 jQuery 代码，它完全满足了我的需要:
$('ul.products-list > li').each(function(index) {
const nameOnly = $(this).find('a div div.information p.name').first().contents().filter(function() {
return this.nodeType == 3;
}).text();
const whiskeyObject = {name: nameOnly};
const whiskeys = JSON.stringify(whiskeyObject);
console.log(whiskeys);
})
在我的应用程序文件 (whiskey-scraper.js) 中使用 Cheerio 尝试相同的代码:
const express = require('express');
const request = require('request');
const cheerio = require('cheerio');
const fs = require('fs');
const app = express();
const port = 8000;
request('https://www.thewhiskyexchange.com/c/33/american-whiskey?filter=true#productlist-filter', function(error, response, body) {
if(error) {
console.log("Error: " + error);
}
console.log("Status code: " + response.statusCode);
const $ = cheerio.load(body);
// console.log(body);
$('ul.products-list > li').each(function(index) {
const nameOnly = $(this).find('a div div.information p.name').first().contents().filter(function() {
return this.nodeType == 3;
}).text().trim();
const whiskeyObject = {name: nameOnly};
const whiskeys = JSON.stringify(whiskeyObject);
console.log(whiskeys);
})
});
app.listen(port);
console.log(`Stuff is working on Port ${port}!`);
当我运行node inspect whiskey-scraper.js时在我的终端中，控制台记录状态代码 200，但也记录此错误:
"Error: Can only perform operation while paused. - undefined
at _pending.(anonymous function) (node-
inspect/lib/internal/inspect_client.js:243:27)
at Client._handleChunk (node-inspect/lib/internal/inspect_client.js:213:11)
at emitOne (events.js:96:13)
at Socket.emit (events.js:191:7)
at readableAddChunk (_stream_readable.js:178:18)
at Socket.Readable.push (_stream_readable.js:136:10)
at TCP.onread (net.js:561:20)"
无法弄清楚这意味着什么或如何解决此错误。关于如何消除此错误的任何想法，至少得到我的 console.log(whiskeys);线路工作？如果我能让它工作，我就可以从那里开始。
当我取消注释console.log(body);时我将网站的整个 html 记录到控制台，所以我觉得cheerio 正在从网站获取我需要的信息。一旦消除了这个错误，我就可以获取 image_url、描述，并将其放入我的 MongoDB 中。
谢谢!
最佳答案
找到了解决方案。对于网站，您可以以网格格式或列表格式显示威士忌及其信息 - 并且它们是完全相同的 URL。我正在查看列表格式的 HTML，它使用 <ul><li>格式，但cheerio选择导入网格格式，其中没有无序列表，只是多个嵌套 <div> s。从来没想过!
关于javascript - 使用cheerio.js进行抓取，得到: Error: Can only perform operation while paused，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/45401769/
25
4
0
在 C# 及其同类语言中，我们总是使用 public string SomeString { get; set;} 但是你也可以使用(我最近才发现这个，而且是在和编译器闲逛的时候发现的) public
我已经为 Controller 中的函数编写了 Swagger 注释，但在生成 swagger-ui 代码时出现错误。以下是我的注释代码 /*** End of Annotation For dele
我正在 PHP 中开发一项服务，该服务使用 exec 函数调用 jar 文件，如下所示: $text = "string with accents á, ó, ú or العربية"; exec(
我正在尝试了解有关在程序中利用/防止缓冲区溢出的方法的更多信息。我知道如果大小是恒定的，下面的代码很容易受到攻击，但是如果大小每次都是随机的怎么办？是否还有办法从堆栈中获取它并以某种方式动态改变溢出字
对于一项学校作业，我应该制作一个可以以小时、分钟和秒为单位存储时间的时间类。一切正常，但仅声明 get 时属性总是返回 0；并设置； private int seconds, minutes, hou
我正在遍历一些测验对象并将结果存储到json变量中。出现"ReferenceError is not defined"错误，不确定原因。 JS代码 // This function will send
使用 Nifi 的 PutDatabaseRecord 处理器在 MySQL 中插入阿拉伯字符(非拉丁语)时，字符被“？？？？？？”替换 插入后，阿拉伯字符串被替换为??????。我已经使用 utf8
谁能告诉我为什么 gets(abc) 使用 char[] 而不是使用 int？ int abc; char name[] = "lolrofl"; printf("Hello %s.\n",na
为什么在使用 as.POSIXct 转换下面的时间戳时得到所有 NA？ > head(tmp$timestamp_utc) [1] Fri Jul 03 00:15:00 EDT 2015 Fri J
def get_submultiples(n): # Get all submultiples of n if n == 1: return [1] i = 2
有没有办法访问基本模型的实际 child ，意思是:继续使用 django Docs 中的示例，让我们假设我正在建模不同的外卖餐厅，它们只是有共同点 姓名 都有deliver方法 至此: class
我正在寻找一个范围的总和，但我总是得到“未定义”。我相信有些东西出现在错误的位置，但我不确定它是什么。 第 1 部分:“编写一个范围函数，它接受两个参数(start 和 end)，并返回一个包含从 s
我已将 spring 版本从 4.2.3 更新到 5.0.2，并将安全性从 5.0.1 更新到 5.0.10 并使用 spring -flex版本1.6.0.RC1。 像这样使用 BlazeDS 依赖
我可以输入但在输出中，我得到的结果为零。我使用两门类(class)，一门是主要的，是日志，另一门是成绩计算。在成绩计算器中，我编写了方法和构造函数，在日志中，类通过构造函数调用这些方法。 import
我在使用 go 时遇到了构建问题。我想知道这是编译器中的错误还是代码的问题。 // removed the error handling for sake of clarity file, _ :=
我的角色在与盒子互动时出现问题。我有一个 GameObject Player 附加了一个脚本来与游戏中的盒子交互，脚本是: using UnityEngine; using System.Collec
有谁知道为什么我不能在下面生成百分比 codeIshere (第 97-117 行)？ var format=d3.format(".1%"); var percent = format(functi
我正在尝试编写图像识别代码，以针对不同动物图像训练系统，这就是代码。我使用 anaconda 作为解释器，使用pycharm作为环境。 import tensorflow as tf import o
我正在尝试在 Java 中初始化 Matcher，但无论字符串是否已初始化且不为 null，都会继续获取 NPE。 这是代码: pattern.compile("\\s"); System.out.p
所以我有这段代码: ; (function (g) { var d = document, i, am = d.createElement('script'), h = d.head || d.g
我是一名优秀的程序员,十分优秀！