CodeIgniter实现从网站抓取图片并自动下载到文件夹里的方法-6ren

CodeIgniter实现从网站抓取图片并自动下载到文件夹里的方法

转载作者：qq735679552 更新时间：2022-09-27 22:32:09

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章CodeIgniter实现从网站抓取图片并自动下载到文件夹里的方法由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

本文实例讲述了CodeIgniter实现从网站抓取图片并自动下载到文件夹里的方法。分享给大家供大家参考。具体如下:

因为某网站看图比较坑爹，要一页一页的翻页。。。。所以。。。。就写了这么个东西。

（我是产品不是程序员）运行速度简直无法忍受，而且经常会有错误发生，所以希望大家帮忙改进（PHP）.

当然也欢迎看到PYTHON，GOLANG的版本~~^_^ 。

1. controllers:

 
    ? 
   
         $this 
         ->load->helper( 
         'date' 
         ); 
        
         $this 
         ->load->helper( 
         'phpQuery' 
         ); 
        
         //我是把phpQuery单文件放到helper里了

2. view:

这里只是为了快速出产品，所以直接在VIEW里写的代码，请无视变量名。。.

 
    ? 
   
         <?php 
        
         $imageslist 
         = phpQuery::newDocumentFile( 
         'http://g.e-hentai.org/g/xxxxx/xxxxxxx/' 
         ); 
        
         //首页 
        
         $pn 
         = 1; 
         //页数 
        
         $ps 
         =  
         $imageslist 
         ->find( 
         '.ptt td a' 
         ); 
         //从首页抓页面导航 
        
         //从页面导航开始获取页面内容 
        
         foreach 
         ( 
         $ps 
         as 
         $p 
         ) 
        
         { 
        
         echo 
         '第' 
         . 
         $pn 
         ++. 
         '页:<a href="' 
         .pq( 
         $p 
         )->attr("href 
         ").'" 
         /></br>'; 
        
         $imagesnow 
         = phpQuery::newDocumentFile(pq( 
         $p 
         )->attr( 
         "href" 
         )); 
        
         //单页内容 
        
         $images 
         =  
         $imagesnow 
         ->find( 
         '#gdt a' 
         ); 
         //抓取图片页列表 
        
         foreach 
         ( 
         $images 
         as 
         $image 
         ) 
        
         { 
        
         echo 
         '<a href="' 
         .pq( 
         $image 
         , 
         $imagesnow 
         )->attr("href 
         ").'" 
         /></br>'; 
        
         $imagebigs 
         = phpQuery::newDocumentFile(pq( 
         $image 
         , 
         $imagesnow 
         )->attr( 
         "href" 
         )); 
        
         //获取单图片页地址 
        
         echo 
         '<img src="' 
         . 
         $imagebigs 
         ->find( 
         '#i3 img' 
         )->attr( 
         'src' 
         ). 
         '"></br>' 
         ; 
         //输出图片 
        
         ob_start(); 
        
         readfile( 
         $imagebigs 
         ->find( 
         '#i3 img' 
         )->attr( 
         'src' 
         )); 
        
         $img 
         = ob_get_contents(); 
        
         ob_end_clean(); 
        
         $filename 
         = 
         'img/' 
         .now(). 
         '.jpg' 
         ; 
        
         $f 
         = 
         fopen 
         ( 
         $filename 
         , 
         'a' 
         ); 
        
         fwrite( 
         $f 
         , 
         $img 
         ); 
        
         fclose( 
         $f 
         ); 
        
         } 
        
         } 
        
         ?>

希望本文所述对大家基于CodeIgniter的php程序设计有所帮助.

最后此篇关于CodeIgniter实现从网站抓取图片并自动下载到文件夹里的方法的文章就讲到这里了,如果你想了解更多关于CodeIgniter实现从网站抓取图片并自动下载到文件夹里的方法的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

文章推荐： PHP实现的购物车类实例

文章推荐： python创建列表和向列表添加元素的实现方法

文章推荐： Python中装饰器高级用法详解

文章推荐： PHP基于MySQL数据库实现对象持久层的方法

网站
我有这个网站，这个特定页面是安全的，但是当它回发时，它回发到一个不安全的页面。如何解决？我正在使用 ASP.NET 向导。我有这个页面 - checkout.aspx，页面包含这个控件 checko
redirect - 将 Azure 网站 URL 指向另一个 Azure 网站
我有 2 个 azure 网站 - 两个独立的项目我现在有 2 个网址: myazurewebsite.azurewebsites.net myazureblog.azurewebsites.net
redirect - 将 Azure 网站 URL 指向另一个 Azure 网站
我有 2 个 azure 网站 - 两个独立的项目我现在有 2 个网址: myazurewebsite.azurewebsites.net myazureblog.azurewebsites.net
java - 将 React 网站更改为同一域上的 java 网站，但仍显示 React 网站
环境: 旧网站: React 托管在 Heroku URL( http://sameurl.com ) 新网站: Java 托管在 Heroku URL ( http://sameurl.com )
asp.net - 将 ASP.NET 网站 + 数据库发布到 Windows Azure 网站
我已在 Windows Azure 上注册了一个测试帐户来对其进行测试。我构建了一个 Hello world ASP.NET Web 应用程序 + 数据库只是为了测试。我安装了 Visual Stu
performance - : {REST API, 网站} --> {数据库} 或 {网站} --> {REST API} --> {数据库} 哪个更好？
我有一个可以收集和显示各种测量值的产品(不会详细介绍)。正如人们所期望的那样，显示部分是一个数据库+建立在其之上的网站(使用 Symfony)。但是，我们可能还会创建一个 API 来向第三方公开数据
Android软键盘调整背景图片大小(网站)
这个问题在这里已经有了答案: Software keyboard resizes background image on Android (16 个答案) 关闭 8 年前。我有一个类似的问题:So
Maven Checkstyle 网站
这个问题似乎很常见，但我真的无法根据现有答案解决问题。我有一个简单的 maven 项目，没有任何复杂的部署配置等，并且想在点击“mvn site”时生成一个 Maven CheckStyle 报告。
Azure 网站 - 纵向扩展与横向扩展
有没有人看过有关何时进行横向扩展与纵向扩展的最佳选择的任何分析或信息。什么时候一个比另一个更有意义。目前，在标准模式和基本模式下，2 个小型实例的费用与 1 个中型实例的费用相同。拥有 2 个小型
Azure 网站。如何查找有关停止服务的日志
有没有办法找到 azure 网站何时停止？ (我通过门户网站停止了网站，但我不记得是什么时候......) 我正在寻找一些日志，但没有找到任何有用的内容。谢谢。最佳答案您拥有的最接近的是 azu
具有扩展和冗余功能的 Azure 网站
我目前在 Azure VM 的 IIS 中拥有一个网站。我已将该站点复制到 2 个可用区域中的 2 个虚拟机上。这可以保护网站免遭停机。我需要为高负载时刻实现一些可扩展性。这似乎就是创建音阶集的目
Azure CDN 网站
我有一个托管在 Azure 上的网站 ( http://mike-ward.azurewebsites.net/ )。我从 Azure 门户设置了一个指向(引用？)我的网站的 Azure CDN。根据
Azure 网站 - 识别主机插槽
我有一个 Azure 网站(不是 Web 角色)，有 2 个槽:生产和暂存。我只想为生产插槽启用 CDN，而不是为登台启用，问题是我找不到识别主机插槽的方法。 RoleEnvironment 不可用
javascript - 捕获浏览器内容的屏幕截图(网站)
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。我们不允许提出有关书籍、工具、软件库等建议的问题。您可以编辑问题，以便可以用事实和引用来回答它。 4年前关
Azure 网站 - 持久文件问题
我们正在考虑将一些网站从 Azure 云服务迁移到 Azure 网站(事情似乎就是这样进行的)。显然，我们被明确告知云服务不会保留文件系统状态，因为它们会在机器故障时重新部署。我假设网站是基于 Bl
连接到虚拟机的 Azure 网站
我有一个 Azure 网站，需要使用在 VM 上运行的 Elasticsearch 服务。虽然我需要能够锁定对 Elasticsearch 的访问，以便只有 Azure 网站可以访问它，但我似乎无法
Azure 网站 DNS
我有一个 azure 网站，位于 yis3.azurewebsites.net - 我已将其提升为“共享”网站，以便我可以使用自定义域。我拥有从 123-reg.co.uk 购买的域名 yorkshi
Azure 网站 - 如何写入文件
我正在使用 abcPDF 动态创建 PDF。我想保存这些 PDF，以便客户随时检索。最简单的方法(也是我现在在当前服务器上所做的方法)是将完成的 PDF 保存到文件系统。看来我一直坚持使用 blo
Azure 网站 - 监控数据
我们正在尝试了解 Windows Azure 管理 API 为 Azure 网站(而非 Webroles)返回的监控数据的复杂性例如，下图描述了为 CPUTime 检索的数据点。它似乎表明，在晚上
具有多个站点的 Azure 网站
看起来真的很愚蠢，因为我找不到它: 门户网站似乎不太直观，我如何为一个“网站”付费并在其中运行最多 500 个网站？我想当我通过单击左下角的加号添加“网站”时，我添加了整个虚拟机而不是子站点。如何仅添

qq735679552

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

CodeIgniter实现从网站抓取图片并自动下载到文件夹里的方法