- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
编辑 2:我认为,这可能是该主题与此链接中的其他主题之间的关系: https://stackoverflow.com/questions/34600126/在该链接中,我将所有图像的 url 存储在一个文件中,并尝试通过 node.js 读取它们并下载它们,但我在某些文件上遇到了超时错误,(不是大多数文件)
我有一些 html,其中包含 mySql 数据库中每个 html 文件中的一些图像,我用 Node.Js 编写了一个脚本来获取 html 文件,还获取图像并将它们下载到本地(图像是远程 url,比如http://myServer/whmis_d2.gif ) ,我使用 createWriteStream ,它会创建图像文件,但它们是空文件。我想问题是下载时文件没有关闭,我尝试使用完成事件,但我注意到完成事件没有启动。我的目标是搜索 html 内容并将带有远程 url 的图像下载到我的本地计算机。将不胜感激,这是我的代码:谢谢!
这里我放了所有的代码,但是路径是硬编码的,你需要用你的本地路径来改变,
#!/usr/bin/env node
"use strict";
// dependencies
// npm install mysql
// npm install cheerio
var fs = require('fs');
var mysql = require('mysql');
var cheerio = require('cheerio');
var path = require('path');
var _ = require('underscore');
var async = require('async');
var url = require('url');
var request = require('request');
var lunr = require(__dirname + '/lunr.js');
var db = null;
var myTable = {};
var lunr_index = null;
var open_db = function (callback) {
var mysql_conf = {
host: "myHose",
user: "myUser",
password: "MyPass",
database: "MyServer"
};
db = mysql.createConnection(mysql_conf);
db.connect(function (error) {
if (error) {
exit_with_error('problem connecting to database: ' + error);
}
callback();
});
};
var ensure_directory_exists = function (directory) {
var directories = _.reduce(directory.split('/').slice(1), function (memo, subdir, index) {
memo.push(path.normalize(memo[index] + '/' + subdir));
return memo;
}, ['/']);
_.each(directories, function (subdir) {
if (!fs.existsSync(subdir)) {
fs.mkdirSync(subdir);
}
});
};
var get_myosh = function (callback) {
var make_full_markup = function (text) {
return text;
};
var get_images = function (text) {
var $ = null;
$ = cheerio.load(text, {decodeEntities: false});
$('img').each(function (i, img) {
var img_url = $(img).attr('src');
var img_src = path.basename(img_url);
console.log('requesting image ' + img_url + ' ...');
ensure_directory_exists(path.dirname('/Users/Documents/documents/'));
var file = fs.createWriteStream(img_src);
var stream = request(img_url).pipe(file);
file.on('finish', function () {
// this finish event seems not fire at all
console.log('finish streaming' + img_src);
file.close();
});
});
}
db.query('SELECT path,title,qatext FROM myTable', function (error, results) {
var $ = null;
if (error) {
exit_with_error('problem reading from database: ' + error);
}
for (var i in results) {
$ = cheerio.load('<template>' + results[i].qatext.replace(/<\//g, ' </') + '</template>');
myTable[results[i].path] = {
title: results[i].title,
summary: $('template').text().trim().replace(/\s{2,}/g, ' '),
images : get_images(results[i].qatext),
full_markup: make_full_markup(results[i].qatext)
};
}
callback();
});
};
var build_content = function (callback) {
for (var id in myTable) {
ensure_directory_exists(path.dirname('/Users/Documents/documents/' + id));
fs.writeFileSync('/Users/Documents/documents/' + id, myTable[id].full_markup);
console.log('indexed %s', id);
}
callback();
};
var close_db = function () {
try {
db.end();
} catch (e) {
}
};
var exit_with_error = function (error) {
console.log('\nERROR : %s\n', error);
process.exit(-1);
};
open_db(function () {
get_myosh(function () {
build_content(function () {
close_db();
process.exit(0);
});
});
});
我还放置了一个从 mysql 数据库中获取的 html 文件内容。 html文本和html文件名和html文件相对路径,存储在mysql的表中,我们不仅有一个html,我们有一堆,所以目标是搜索html文件,并下载img文件(是 href 图片链接)到本地计算机。
<!DOCTYPE html>
<html>
<head>
<meta content="text/html;charset=utf-8" http-equiv="Content-Type">
<meta content="utf-8" http-equiv="encoding">
<meta name = "viewport" content = "width = device-width">
<style type="text/css">
body {
font-family: '-apple-system-font', 'San Francisco', 'Helvetica Neue', 'Helvetica', 'Arial', 'Verdana', 'sans-serif';
margin-left:10px; margin-right:0px; margin-top:0px; margin-bottom:0px;}
</style>
</head>
<body><a name="_1_1"></a><div class="center"><img src="http://images.ccohs.ca/oshanswers/whmis_b.gif" width="108" height="106" alt="Symbol for Class B" /><br />Class B2</div><div class="center"><img src="http://images.ccohs.ca/oshanswers/whmis_d2.gif" width="108" height="107" alt="Symbol for Class D2" /><br />Class D2B</div><br /><a name="_1_3"></a><a name="_1_4"></a>
</body>
</html>
最佳答案
您不需要手动关闭 WriteStream,管道就足够了。可能存在互联网访问问题——您是否检查了请求
响应状态?您没有向 img_src
添加路径,因此它应该根据环境尝试将文件写入您的 home/process 目录。只是为了简化您的代码并减少可能的错误,使用 mkdirp
模块在一行中创建子文件夹链。和 here是一个很好的答案如何检查目录是否存在。
关于mysql - createWriteStream 创建空文件,完成事件(在 stream.Writable 中)不触发,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34516637/
我正在尝试实现具有以下签名的方法: public static Pair, Stream> flatten(Iterator, Stream>> iterator); 该方法的目标是将每种流类型展平
我有两个流从两个不同的 api 获取。 Stream get monthOutStream => monthOutController.stream; Stream get resultOutStre
Stream.of(int[])返回 Stream ,而 Stream.of(String[])返回 Stream . 为什么这两种方法的行为不同?两者都应该返回 Stream和 Stream或 St
我正在使用 rxdart在 dart 中处理流的包。我被困在处理一个特殊的问题上。 请看一下这个虚拟代码: final userId = BehaviorSubject(); Stream getSt
我到处都找遍了,还是没弄明白。我知道你可以用流建立两个关联: 用于支持数据存储的包装器意味着作为消费者和供应商之间的抽象层 数据随着时间的推移变得可用,而不是一次全部 SIMD 代表单指令,多数据;在
考虑下面的代码: List l=new ArrayList<>(); l.add(23);l.add(45);l.add(90); Stream str=l.stream
我有一个大型主干/requirejs 应用程序,我想迁移到 webpack,最新的“webpack”:“^4.27.1”,但我遇到了一个我无法解决的错误。 我一直在阅读 https://webpack
我正在使用 xmpp 开发聊天应用程序,根据我们的要求,我们有三台服务器 Apache Tomcat 7、ejabbered 2.1.11 和 mysql 5.5, to run xmppbot on
我知道如何使用 Java 库,并且我可以编写一些循环来执行我需要的操作,但问题更多,为什么 scala.collection.JavaConverters 中没有任何内容或scala.collecti
我正在尝试创建一个单一的衬里,它应该计算一个非常长的文本文件中的唯一单词。独特的词例如:márya fëdorovna scarlet-liveried,...所以基本上都是非英语词。 我的问题是我的
如果我有以下情况: StreamWriter MySW = null; try { Stream MyStream = new FileStream("asdf.txt"); MySW =
有人可以帮我将以下语句转换为 Java8: 我有一个像这样的 HashMap : private Map, List>> someMap; 我想在java8中转换以下逻辑: private Strin
有人可以帮我将以下语句转换为 Java8: 我有一个像这样的 HashMap : private Map, List>> someMap; 我想在java8中转换以下逻辑: private Strin
考虑两种测试方法parallel()和sequential(): @Test public void parallel() throws Exception { System.ou
我是 NodeJS 的新手,我基本上想做的是通过 HTTP 将 .pdf 上传到我的服务器。我正在使用 POST rquest 来处理 Content-Type multipart/form-data
哪个更好:MemoryStream.WriteTo(Stream destinationStream) 或 Stream.CopyTo(Stream destinationStream)?? 我正在谈
给定一个 Stream,我想创建一个新的 Stream,其中的元素在它们之间有时间延迟。 我尝试使用 tokio_core::reactor::Timeout 和 Stream 的 and_then
我是 Kafka Streams 和 Spring Cloud Stream 的新手,但在将集成相关代码移动到属性文件方面已经阅读了有关它的好东西,因此开发人员可以主要专注于事物的业务逻辑方面。 这里
源代码看起来非常相似:pump , pipe .为什么我要使用一个而不是另一个?一个只是另一个的更好版本吗? 最佳答案 Stream.pipe 现在显然是自 0.3.x 以来的首选方法,因此尽可能尝试
我正在寻找是否有更好的方法来解决我不得不使用这些签名的困境(注意:由于 Spock 测试,T[][] 是必需的,我提供 T[][] 作为数据提供商) 我的方法签名是: public T[][] cr
我是一名优秀的程序员,十分优秀!