- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我正在尝试制作一个简单的nodeJS webscraper,但我不知道如何在 Json 文件中格式化我的结果。
我正在使用express、request、cheerio和fs。
这是我的代码:
var express = require('express');
var fs = require('fs');
var request = require('request');
var cheerio = require('cheerio');
var app = express();
var url = 'http://www.footmercato.net/';
request(url, function(err, resp, body) {
if (!err) {
var $ = cheerio.load(body);
var json = { title : "", article : "", date : "" };
var article = $('.text p');
var articleTxt = article.text();
json.article = articleTxt;
}
JSON.stringify(json);
})
app.listen('8080');
当我启动这个程序时没有发生任何事情,它在 JSON.stringify(json);
有人知道怎么解决吗?
最佳答案
您需要将 stringify 函数放在回调中,然后将字符串写入文件。如果该函数位于回调之外,则您要转换的 JavaScript 对象尚未创建
顺便说一句,JavaScript 对象不是 JSON。我更改了下面的定义。
request(url, function(err, resp, body) {
if (!err) {
var $ = cheerio.load(body);
var jsObject = { title : "", article : "", date : "" };
var article = $('.text p');
var articleTxt = article.text();
jsObject.article = articleTxt;
var json = JSON.stringify(jsObject);
fs.writeFileSync('path/to/file', json);
}
关于json - WebScraper 和 Json 格式,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41589238/
我正在尝试使用 R 抓取 OECD 表格。 library(XML) OECD <- readHTMLTable('http://stats.oecd.org/Index.aspx?DataSetCo
我正在使用anaconda并试图创建一个可以在Linkedin上继续使用并从页面中刮取相关信息的刮刀。目前,我只是想让它登录并从相关页面中提取源代码。但是,下面的代码不断返回“TypeError:'N
我正在创建一个 webscraping 函数来使用数据生成 json,webscraper 部分可以工作,奇怪的是该函数返回未定义 获取产品.js module.exports.getproduct
task :fetch_front => :environment do require 'rubygems' require 'nokogiri' require 'open-uri' requi
我为 realtor.com 构建了一个 webscraper,因为我正在寻找我所在地区的房屋和代理商,这对我来说很容易,但是他们只是更改了他们网站上的代码(可能是为了阻止人们这样做),现在我是得到一
我是 Python 新手,但对 R 很了解。我正在尝试从雅虎网络抓取股票价格数据。我成功检索了价格数据并能够创建数据框。然而,雅虎包括了何时支付股息。目前,我想忽略股息,但我在过滤数据框以在支付股息时
我希望能够将来自多个 New Egg 网页的数据抓取到一个 csv 文件中。 我目前能够将单个 New Egg 网页中的数据网络抓取到一个 csv 文件中,但是我希望同时对多个页面进行网络抓取。 fr
我正在使用 DryScrape 抓取一个 javascript 页面,如果出现错误,它偶尔会终止进程。我已经尝试根据文档使用 catch 来防止它,但我还没有弄明白: try:
背景 大家好...python 和网络抓取的新手。我在 Mac (Sierra) 上,在 Firefox (87.0) 中运行 Jupyter Notebook。我正在尝试从这样的网页中抓取多个值:h
我无法解决 R 中的这个问题,如果您能在这里给我一些建议,我将不胜感激。 我正在尝试从 https://www.investing.com/rates-bonds/spain-5-year-bond-
对于一个简单的网络抓取工具,我遇到了以下代码的 unicode 编码错误。 print 'JSON scraper initializing' from bs4 import BeautifulSou
我正在尝试从 this website 抓取实时出发表使用 BeautifulSoup 。 我尝试过以下方法: caremar_live_departures_table = list(soup.se
目前的代码下载并打印到屏幕上,但我如何将打印的 Material 放入 sql 数据库中。如果我想将数据放入 CSV 文件中,Python(在美好的一天)似乎会创建该文件automatically.O
当我尝试通过 python 使用 Selenium 库对网站进行网络抓取时遇到问题。关键是我想获得一些有关收集到该站点的歌曲的信息:https://bandcamp.com/?g=all&s=top&
您好,我正在使用 Beautifulsoup 解析网站并获取名称作为输出。但是在运行脚本之后,我得到了一个 [u'word1', u'word2', u'word3'] 输出。我正在寻找的是 'wor
我是网络抓取工具的新手。我做了一些有用的东西,但要花好几个小时才能得到我需要的一切。我阅读了一些关于使用并行进程来处理 URL 的内容,但我不知道如何去做并将其合并到我已有的内容中。非常感谢您的帮助!
我正在尝试制作一个简单的nodeJS webscraper,但我不知道如何在 Json 文件中格式化我的结果。 我正在使用express、request、cheerio和fs。 这是我的代码: var
Scraper 的目标是分析哪些棋盘游戏获得最多点赞并将其打印在排序列表中。基本上是一本“名字:竖起大拇指”的字典。以下是我要排序的游戏列表: https://boardgamegeek.com/ge
我正在尝试从网站上抓取广告的 URL 链接。我在 jupyter 笔记本中有以下代码 from bs4 import BeautifulSoup import requests link = "htt
我正在尝试抓取一个房地产网站的列表。它有一个 aspx 表单,必须在提交前填写。 http://www.cbre.us/PropertyListings/Pages/Properties-for-Sa
我是一名优秀的程序员,十分优秀!