node.js - 通过脚本下载具有特定 Div 的图像

Question

我有一系列 URL，我需要为每个 URL 下载一个图像。

在每个页面的标记中有以下内容

<div class="subcolumns product-hero">
        <div class="c60l">
                <img src="Cubes.png" width="300"/> 
        </div>
</div>

理想情况下，我需要使用 Product-hero 类下载 div 中的图像，或保存图像 src 标记。

这可以通过某种自动化脚本实现吗？ Node/Perl 等？

Answer 1

我会考虑使用Phantom.js它允许您使用纯 JavaScript 加载和查询网页(无需浏览器)。

看看Phantom's DOM Manipulation了解如何访问文档，然后您可以使用普通的 javascript dom 查询(例如 getElementsByClassName 和 getElementsByTagName)来访问您需要的图像。所以你的脚本可能如下所示:

var page = require('webpage').create();
console.log('The default user agent is ' + page.settings.userAgent);
page.settings.userAgent = 'SpecialAgent';
page.open('http://www.httpuseragent.org', function (status) {
    if (status !== 'success') {
        console.log('Unable to access network');
    } else {
        page.evaluate(function () {
            var productHeros = document.getElementsByClassName('product-hero');
            for (var i = 0; i < productHeros.length; i++) {
                var productHeroDiv = productHeros[i];
                var image = productHeroDiv.getElementsByTagName("img")[0];
                var source = image.src;
            }
        });
        console.log(ua);
    }
    phantom.exit();
});