- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我正在 Node.js 中运行一个使用 request 的脚本。包来帮助我发出 HTTP 请求。该脚本会发出 100 到 1000 个请求,以便下载 PDF 并将其放入本地计算机上的某个文件夹中。当我只发出 100 个请求时,程序工作正常,所有 PDF 都显示在我的文件夹中,但是当我发出更多请求时,程序开始抛出此错误 (ENOTFOUND),并且抛出此错误的文件在文件夹中为空白。当我手动加载引发错误的链接时,它们工作正常(所以我知道这不是主机的问题),我可以下载这样的文件,但我想自动化它。
这是函数中给出错误的部分。我已开始尝试将所有出错的链接推送到数组,但尚未解决该问题。
var year = process.argv[3] % 2000;
var url = yearURL[year];
request(url, function(error, response, html){
if(!error){
var $ = cheerio.load(html, {xmlMode: true});
$('link', 'item').each(function(){
var link = $(this).text();
PDFscrape(link);
});
}
});
function PDFscrape(link){
request(link, function(error, response, html){
if(!error){
var $ = cheerio.load(html);
var num = $('#ctl00_ContentPlaceHolder1_lblFile2', '#ctl00_ContentPlaceHolder1_pageDetails').text();
console.log('Document ' + num + ' has been loaded.');
var i = 1;
$('a', '#ctl00_ContentPlaceHolder1_lblAttachments2').each(function(){
var pdf = 'https://phila.legistar.com/' + $(this).attr('href');
AddPDF(pdf, num, i);
i++;
});
}
})
}
function AddPDF(link, file, i){
var name = file;
var fileName;
if (year !== 100 && year !== -2){
fileName = fs.createWriteStream(__dirname + '/pdfs/20' + year + '/' + file + '_' + i + '.pdf');
} else if (year === 100){
fileName = fs.createWriteStream(__dirname + '/pdfs/recent100/' + file + '_' + i + '.pdf');
} else if (year === -2){
fileName = fs.createWriteStream(__dirname + '/pdfs/recent10/' + file + '_' + i + '.pdf');
}
request({
uri: link,
headers: {
'Host': 'phila.legistar.com',
'User-Agent': 'request'
}
}, function(err) {
if (err){
var errLink = {url: link, file: name, num: i}
var count = errors.push(errLink);
console.log('--------- Error: ' + count + ' ---------');
}
}).pipe(fileName);
}
抛出的错误是:
stream.js:94
throw er; // Unhandled stream error in pipe.
^
Error: getaddrinfo ENOTFOUND
at errnoException (dns.js:37:11)
at Object.onanswer [as oncomplete] (dns.js:124:16)
注意:我正在处理该错误,但是给出此错误的文档在不应该的情况下被作为空白通过管道传输。我只是不明白为什么文件会给出错误。
最佳答案
缺少一些分号,使用 !=
而不是 !==
的方式有些不雅,file
的双重含义使用不好,但没有什么可以解释您所看到的内容。我猜 year
有点糟糕。在这里发布我的代码版本并附上一些评论。
(我在这里发帖,而不是在评论中,因为无法在评论中发布长代码):
function AddPDF(link, filename, i) {
var file;
if (year !== 100 && year !== -2) {
// probably want "!==" rather than "=="
file = fs.createWriteStream(__dirname + '/' + file + '_' + i + '.pdf');
} else {
// WHAT HAPPENS HERE?
// what is "file", that is later piped to?
// this may be your issue.
// Where is this "year" coming from? Can you show relevant code?
}
request({
uri: link,
headers: {
'Host': 'phila.legistar.com',
'User-Agent': 'request'
}
}, function(err) {
var errLink, count;
if (err) {
errLink = {url: link, file: filename, num: i};
count = errors.push(errLink);
console.log('--------- Error: ' + count + ' ---------');
}
}).pipe(file);
}
最后,您仍然没有提供实际的跟踪。
关于javascript - 从 Node.js 请求包发出大量请求时出现 "Error: ENOTFOUND",我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24874221/
通过终端,您可以使用命令 - “SetFile -a B 文件名” 以编程方式,我认为我应该通过[[NSFileManager defaultManager] createDirectoryAtPat
嗨,正在尝试书中的一些示例:Practical Graph mining with R对于子图挖掘: library(subgraphMining) library(igraph) graph1 =
代码中的相同问题: class Foo { int getIntProperty () { ... } CustomObject getObjectProperty () { ... }
所以这可能是一个愚蠢的问题,但它已经困扰我一段时间了。 使用 React,我创建了两个组件(Buttons.js 和 Message.js),每个组件都有一个导出。但是,现在我希望将这两个组件用作 n
从今天早上开始,我发现我无法再从某个范围安装任何 NPM 包(或任何具有依赖项的包)。例如,如果我输入 npm i webpack 我会收到以下错误... npm ERR! code E401 npm
我在这里搜索过,Angular 2, @ngtools/webpack, AOT ,但对我不起作用。我运行了 npm install 命令。我正在做的是创建一个新的 Angular 2 项目。当我运行
情况: 我有一个 Swift 包,将其命名为 lib。 lib 位于其自己的存储库中。在lib的仓库中,有一堆本地包;也就是说,这些包是在 lib 中定义的,使用本地路径依赖格式 .package(p
我想在工作中学习和使用nodejs,但是在使用 de npm 命令安装模块/包时遇到网络问题。我是否可以使用我的家用计算机构建完整的 Node js 包,然后将其安装在另一台计算机(我的工作场所计算机
我需要将一些 .tar.bz2 格式的非 Python 包转换为 Anaconda/miniConda .egg 文件并安装它们。为此,我需要一个适用于 Windows 的 bld.bat 文件。互联
我需要共享库文件 libthrift-0.9.3.so 作为其他包的依赖项。我在构建 thrift-0.9.3 包时看到编译问题(我确实从 https://thrift.apache.org/down
我尝试在 R 版本 3.5.0 中安装“arcgisbinding”包。但是我失败了,得到以下错误和警告。 Installing package into ‘C:/Users/Lenovo/Docum
我尝试在 R 版本 3.5.0 中安装“arcgisbinding”包。但是我失败了,得到以下错误和警告。 Installing package into ‘C:/Users/Lenovo/Docum
我试图在 flutter 中测试这个应用程序,但我无法运行该应用程序,因为出现此错误“名称‘Page’在库‘package:burn_off/widgets/page.dart’和‘package’中
试图理解和学习如何编写包...用我一直使用的东西进行测试,记录... 您能帮我理解为什么“日志”变量不起作用...并且屏幕上没有日志记录吗? 谢谢! 主要文件: #!/opt/local/bin/py
我尝试运行此使用 Google 云的代码。 import signal import sys from google.cloud import language, exceptions # creat
我想知道是否有人找到了一个很好的 R 包来分析眼动追踪数据? 我遇到了 eyetrackR,但据我所知,没有可用的英文支持文档: http://read.psych.uni-potsdam.de/pm
我正在 R 上制作一个包。我有两个函数共享一个变量(全局)。 如何将其导入到包中? 例如, m<-0 f<-function() { m <- m+1 } g<-function() { m <- m
我用 C 为 Lua 编写了很多模块。每个模块都包含一个 Lua 用户数据类型,我像这样加载和使用它们: A = require("A") B = require("B") a = A.new(3,{
我正在尝试在 R 中的 Ubuntu 上安装 xlsx 包,以便使用允许在 R 中插入链接然后将它们导出到 Excel 的功能。 话虽如此,我根本无法安装该软件包。 显然它必须与 rJava 一起使用
我想在 Haskell 中做一些蒙特卡洛分析。我希望能够编写这样的代码: do n <- poisson lambda xs <- replicateM n $ normal mu sigma
我是一名优秀的程序员,十分优秀!