javascript - Browserify 用 casperJS 编写的抓取工具-6ren

javascript - Browserify 用 casperJS 编写的抓取工具

转载作者：太空宇宙更新时间：2023-11-04 02:16:46

我正在尝试使此代码在浏览器中运行。

scrape.html

<!doctype html>

<html>
    <head>
        <title> </title>
        <style>
            label {
                margin-bottom: 2%;
            }

            div {
                margin-bottom: 2%;
            }
        </style>
        <script src = "../../AppData/Roaming/npm/node_modules/phantomjs/lib/phantomjs.js"></script>
        <script src = "../../AppData/Roaming/npm/node_modules/casperjs/modules/casper.js"></script>
    </head>

    <body>
        <form action="#" id = "form" method="get">
            <label for="start">Start Page</label>
            <div>
                <input type = "number" name = "number1" value = "start"></input>
            </div>
            <label for="end">End Page</label>
            <div>
                <input type = "number" name = "number2" value = "end"></input>
            </div>
            <button onclick="myFunction()"> Submit  </button>
        </form>
        <script> 
            function myFunction() {
                var x = document.getElementById("form");
                var number = [];
                var i;
                for (i = 0; i < x.length-1 ;i++) {
                    number.push(x.elements[i].value);
                    }
                console.log(number);
                //var casper = require('casper').create();
                casper.then(function(){
                    console.log(this.fetchText('div.info-list-text'));

                    var startUrl = 'http://www.bedbathandbeyond.com/comm/c/Michigan/p/number1*3';
                    var endUrl = 'http://www.bedbathandbeyond.com/comm/c/Michigan/p/number2*3'
                });
            }
        </script>
    </body>
</html>

它会产生以下错误，

casper.js:32 Uncaught ReferenceError: patchRequire is not defined

我认为导致该错误的原因是我们无法像在 Node.js 中那样使用 require 在浏览器中导入模块。为了使此功能在浏览器中可用，我在项目文件夹中安装了 browserify 并创建了以下 JS 文件。

browserReq.js

var casper = require('casper').create();

var url = 'ok,-MI'
var baseUrl = 'http://www.bedandbeyond.com/comm/c/'+url;
console.log(baseUrl);

var nextBtn = "a.navigation-button.next";

var allLinks = [];

casper.start(baseUrl);

casper.waitForSelector(nextBtn, processPage);

casper.run();

function processPage() {
  var pageData = this.evaluate(getPageData);
  allLinks = allLinks.concat(pageData);

  if (!this.exists(nextBtn)) {
    return;
  }

  this.thenClick(nextBtn).then(function() {
    //this.echo(this.getCurrentUrl());
    //this.wait(1000);
  }).then(processPage);
}

function getPageData(){
  //return document.title;
  var links = document.getElementsByClassName('pro-title');
  links = Array.prototype.map.call(links,function(link){
    return link.getAttribute('href');
  });
  return links;
}

casper.then(function(){
  //require('utils').dump(allLinks);
  this.each(allLinks,function(self,link){
    this.thenOpen(link,function(a){
      jsonObj = {};
      jsonObj.title = this.fetchText('a.profile-full-name');

      jsonObj.services = this.getHTML('div.info-list-text span:nth-child(2) span');
      jsonObj.services = jsonObj.services.replace(/&amp;/g,"and");  

      jsonObj.location = this.getHTML('div.pro-info-horizontal-list div.info-list-label:nth-child(3) div.info-list-text span');
      //jsonObj.contact = this.fetchText('span.pro-contact-text');
      jsonObj.description = this.getHTML('div.profile-about div:nth-child(1)');  
      //jsonObj.description.replace(/\s/g, '');   

      //require('utils').dump(jsonObj);
      //jsonObj.description = jsonObj.description.replace(/[\t\n]/g,"");   

      //jsonObj = JSON.stringify(jsonObj, null, '\t');
      require('utils').dump(jsonObj);
    });
  });
});

我正在使用 browserify browserReq.js -o browserReqOut.js -d 运行此文件。

它给了我以下错误，无法从项目文件夹位置找到模块“casper”。我已经在项目文件夹和全局安装了 casperJS。

更新1:

我将 scrape.html 中表单元素的值发布到以下代码，

scrape.php

<?php $url = $_POST["urlToScrape"]; ?><br>
<?php $page1 = $_POST["number1"]; ?> <br>
<?php $page2 = $_POST["number2"]; ?><br>
<?php $newProxyList = explode(PHP_EOL, $_POST['proxy']); ?> <br>

<?php echo $url ?> <br>
<?php echo $page1 ?> <br>
<?php echo $page2 ?> <br>
<?php echo $newProxyList[0] ?> <br>

<?php echo "<script> 

    var casper = require('casper').create();

var baseUrl = 'http://www.houzz.com/professionals/c/Nashville,-TN';
console.log(baseUrl);

var nextBtn = 'a.navigation-button.next';

var allLinks = [];

casper.start(baseUrl);

casper.waitForSelector(nextBtn, processPage);

casper.run();

function processPage() {
  var pageData = this.evaluate(getPageData);
  allLinks = allLinks.concat(pageData);

  if (!this.exists(nextBtn)) {
    return;
  }

  this.thenClick(nextBtn).then(function() {
    this.echo(this.getCurrentUrl());
    //this.wait(1000);
  }).then(processPage);
}

function getPageData(){
  //return document.title;
  var links = document.getElementsByClassName('pro-title');
  links = Array.prototype.map.call(links,function(link){
    return link.getAttribute('href');
  });
  return links;
}

casper.then(function(){
  //require('utils').dump(allLinks);
  this.each(allLinks,function(self,link){
    this.thenOpen(link,function(a){
      jsonObj = {};
      jsonObj.title = this.fetchText('a.profile-full-name');

      jsonObj.services = this.getHTML('div.info-list-text span:nth-child(2) span');
      jsonObj.services = jsonObj.services.replace(/&amp;/g,'and');  

      jsonObj.location = this.getHTML('div.pro-info-horizontal-list div.info-list-label:nth-child(3) div.info-list-text span');
      //jsonObj.contact = this.fetchText('span.pro-contact-text');
      jsonObj.description = this.getHTML('div.profile-about div:nth-child(1)');  
      //jsonObj.description.replace(/\s/g, '');   

      //require('utils').dump(jsonObj);   

      //jsonObj = JSON.stringify(jsonObj, null, '\t');
      require('utils').dump(jsonObj);
    });
  });
});

 </script>"
 ?>

</body>
</html>

它仍然给我同样的错误，Uncaught ReferenceError: require is not Defined。当 PHP 在服务器上执行并且 require 模块在服务器上也可用时，为什么我会收到此错误。

最佳答案

PhantomJS 是一个完整的浏览器，其 own API 。 CasperJS 使用该 API 来做事情。除非您在浏览器中用纯 JavaScript 实现完整的 PhantomJS API，否则您将无法浏览器化 CasperJS。

关于javascript - Browserify 用 casperJS 编写的抓取工具，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/35370471/

文章推荐： node.js - 数据库连接的初始化-nodejs

文章推荐： c - 将 C 程序设置为行缓冲区将不起作用

文章推荐： c - sprintf for 循环段错误

casperjs - 什么是 casperjs 中的可疑测试
运行测试时获取。 FAIL 35 tests executed in 16.806s, 35 passed, 0 failed, 2 dubious, 0 skipped. “可疑”意味着什么？如何查
casperjs - 使用 CasperJS 实现页面对象模式
是否有人已经使用 casperjs 实现了著名的“页面对象模式”，从长远来看，它对于测试的可维护性非常有用？当您必须将测试的机制和目的分开时，使用它非常非常酷。以这种方式编写测试会变得更加愉快。有
casperjs - 从 cron 运行 CasperJS
所以，我试图在我的服务器上运行 casperJS 作为 cron 作业，这是 crontab: * * * * * /usr/local/bin/casperjs /var/www/javascrip
casperjs - 你如何在 CasperJS 中禁用 css？
我知道如何禁用图像和插件，但似乎没有明显的选项来禁用 CasperJS 中的 css。有谁知道这是如何工作的？最佳答案假设您想抑制所有外部样式表的加载，您可以通过中止加载 css 文件的请求来实
casperjs - 从 Evaluate CasperJS 中发出事件
我在删除网站时从创建的 URL 下载文件时遇到问题。目前我发现了一个文件的月份和年份，然后替换了 url 中的值并尝试从该位置下载。我了解到您无法使用评估范围内的下载功能。 this.evaluate
casperjs - 如何在 casperjs 中维护 session ？
在 CasperJS 中，如何在使用 casper.thenOpen() 时保持 session 例如: var casper = require('casper').create(); casper
cookies - Casperjs 登录 : Does casperjs manage cookies?
我希望我的 casper 在 session 期间登录并保持登录状态。有可能吗？如果是这样，如何？最佳答案如果你想在 CasperJS 中存储 cookie，你可以使用 PhantomJS coo
casperjs - 使用 slimerjs 运行 casperjs 测试
我用 casperjs 编写了一些测试。他们与 phantomjs 一起运行得很好。但是，当我尝试通过以下命令使用 slimerjs 时: casperjs --verbose --engine=sl
casperjs - 使用 slimerjs 运行 casperjs 测试
我用 casperjs 编写了一些测试。他们与 phantomjs 一起运行得很好。但是，当我尝试通过以下命令使用 slimerjs 时: casperjs --verbose --engine=sl
casperjs - casperjs click()一个表单元素，用于提交，等待，在下一页上运行查询？
我想单击“提交”按钮，等待下一页加载，然后在第二页上获取html。。我先做然后再运行，但然后一步仍在首页上运行。有任何想法吗？ var casper = require('casper').creat
casperjs - CasperJS 中的 waitForPopup 总是得到 "wait timeout"
在我的页面自动化脚本中，当我单击标签链接时，将打开一个新窗口。链接的 url 是由复杂的 javascript 生成的。办理任务触发后 url 变为: https://oa.phicomm.co
phantomjs - 将 CasperJS 作为网页中包含的 Javascript 运行，并以交互方式执行 casperJS 命令
CasperJS(带有 phantomJS)可以直接在浏览器中运行而不是通过命令行运行吗？我想从浏览器运行交互式测试，我从用户那里获取输入并相应地进行。我想将 casperJS 作为在浏览器中执行的
javascript - 让 CasperJS 将图像上传到文件字段的问题 - 尝试过 CasperJS fill() 和 PhantomJS uploadFile()
我正在尝试使用 CasperJS 将图像上传到网络表单。我的表格看起来像这样: ... Campaign Banner
phantomjs - Casperjs “casper.test property is only available using the ` casperjs test`命令”，但不调用casper test
错误: casper.test property is only available using the `casperjs test` command 在我的整个代码库中搜索了“casper.tes
CasperJS 并发请求
假设我有一组网址。我不想使用 thenOpen 函数。因为它等待每个以前的 url 被加载并且它减少了加载时间。 casper.each(hrefs,function(self,href){
Casperjs 无法动态打开网址？
我正在尝试导航到从脚本本身创建的 url。此示例代码不像(我曾)预期的那样工作。不知道为什么:( var casper = require('casper').create({ viewpo
casperjs - 单击与选择器匹配的所有链接
我有一个链接列表，我必须模拟这些链接才能使用CasperJS进行点击。他们都共享同一个类(class)。但是，使用this.click('.click-me')仅单击第一个链接。单击所有链接的正确
casperjs 传递参数来评估失败
casper.then(function(){ phone_number = '7wqeqwe6'; phone_password = 'Teqweqweqw34'; }); casper.t
CasperJS 不加载页面资源
我如何告诉 casper 不要加载图像、css、js 视频等。所以我只对 DOM 元素感兴趣。最佳答案看看 CasperJS API . var casper = require('casper'
casperjs - 在Casper中设置PDF打印的纸张尺寸
在Phantom中生成PDF时，我可以这样设置纸张大小: page.paperSize = { height: '8.5in', width: '11in', orientation: '

太空宇宙

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

javascript - Browserify 用 casperJS 编写的抓取工具