- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章用.NET Core写爬虫爬取电影天堂由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.
自从上一个项目从.NET迁移到.NET core之后,磕磕碰碰磨蹭了一个月才正式上线到新版本.
然后最近又开了个新坑,搞了个爬虫用来爬dy2018电影天堂上面的电影资源。这里也借机简单介绍一下如何基于.NET Core写一个爬虫.
PS:如有偏错,敬请指明… 。
PPS:该去电影院还是多去电影院,毕竟美人良时可无价.
准备工作(.NET Core准备) 。
首先,肯定是先安装.NET Core咯。无论你是Windows、linux还是mac,统统可以玩.
我这里的环境是:Windows10 + VS2015 community updata3 + .NET Core 1.1.0 SDK + .NET Core 1.0.1 tools Preview 2. 。
理论上,只需要安装一下 .NET Core 1.1.0 SDK 即可开发.NET Core程序,至于用什么工具写代码都无关紧要了.
安装好以上工具之后,在VS2015的新建项目就可以看到.NET Core的模板了。如下图:
为了简单起见,我们创建的时候,直接选择VS .NET Core tools自带的模板.
一个爬虫的自我修养 分析网页 。
写爬虫之前,我们首先要先去了解一下即将要爬取的网页数据组成.
具体到网页的话,便是分析我们要抓取的数据在HTML里面是用什么标签抑或有什么样的标记,然后使用这个标记把数据从HTML中提取出来。在我这里的话,用的更多的是HTML标签的ID和CSS属性.
以本文章想要爬取的dy2018.com为例,简单描述一下这个过程。dy2018.com主页如下图:
在chrome里面,按F12进入开发者模式,接着如下图使用鼠标选择对应页面数据,然后去分析页面HTML组成.
接着我们开始分析页面数据
经过简单分析HTML,我们得到以下结论:
www.dy2018.com首页的电影数据存储在一个class为co_content222的div标签里面 。
电影详情链接为a标签,标签显示文本就是电影名称,URL即详情URL 。
那么总结下来,我们的工作就是:找到class='co_content222' 的div标签,从里面提取所有的a标签数据.
开始写代码… 。
之前在写做项目的时候用到过AngleSharp库,一个基于.NET(C#)开发的专门为解析xHTML源码的DLL组件.
AngleSharp主页在这里: https://anglesharp.github.io/ , 。
Nuget地址: Nuget AngleSharp 安装命令:Install-Package AngleSharp 。
获取电影列表数据 。
private static HtmlParser htmlParser = new HtmlParser();private ConcurrentDictionary<string, MovieInfo> _cdMovieInfo = new ConcurrentDictionary<string, MovieInfo>();privatevoidAddToHotMovieList(){ //此操作不阻塞当前其他操作,所以使用Task // _cdMovieInfo 为线程安全字典,存储了当期所有的电影数据 Task.Factory.StartNew(()=> { try { //通过URL获取HTML var htmlDoc = HTTPHelper.GetHTMLByURL("http://www.dy2018.com/"); //HTML 解析成 IDocument var dom = htmlParser.Parse(htmlDoc); //从dom中提取所有class='co_content222'的div标签 //QuerySelectorAll方法接受 选择器语法 var lstDivInfo = dom.QuerySelectorAll("div.co_content222"); if (lstDivInfo != null) { //前三个DIV为新电影 foreach (var divInfo in lstDivInfo.Take(3)) { //获取div中所有的a标签且a标签中含有"/i/"的 //Contains("/i/") 条件的过滤是因为在测试中发现这一块div中的a标签有可能是广告链接 divInfo.QuerySelectorAll("a").Where(a => a.GetAttribute("href").Contains("/i/")) .ToList().ForEach( a => { //拼接成完整链接 var onlineURL = "http://www.dy2018.com" + a.GetAttribute("href"); //看一下是否已经存在于现有数据中 if (!_cdMovieInfo.ContainsKey(onlineURL)) { //获取电影的详细信息 MovieInfo movieInfo = FillMovieInfoFormWeb(a, onlineURL); //下载链接不为空才添加到现有数据 if (movieInfo.XunLeiDownLoadURLList != null && movieInfo.XunLeiDownLoadURLList.Count != 0) { _cdMovieInfo.TryAdd (movieInfo.Dy2018OnlineUrl,movieInfo); } } }); } } } catch(Exception ex) { } });}
获取电影详细信息 。
privateMovieInfoFillMovieInfoFormWeb(AngleSharp.Dom.IElement a, string onlineURL){ var movieHTML = HTTPHelper.GetHTMLByURL(onlineURL); var movieDoc = htmlParser.Parse(movieHTML); //http://www.dy2018.com/i/97462.html 分析过程见上,不再赘述 //电影的详细介绍 在id为Zoom的标签中 var zoom = movieDoc.GetElementById("Zoom"); //下载链接在 bgcolor='#fdfddf'的td中,有可能有多个链接 var lstDownLoadURL = movieDoc.QuerySelectorAll("[bgcolor='#fdfddf']"); //发布时间 在class='updatetime'的span标签中 var updatetime = movieDoc.QuerySelector("span.updatetime"); var pubDate = DateTime.Now; if(updatetime!=null && !string.IsNullOrEmpty(updatetime.InnerHtml)) { //内容带有“发布时间:”字样, //replace成""之后再去转换,转换失败不影响流程 DateTime.TryParse(updatetime.InnerHtml.Replace("发布时间:", ""), out pubDate); } var movieInfo = new MovieInfo() { //InnerHtml中可能还包含font标签,做多一个Replace MovieName = a.InnerHtml.Replace("<font color=\"#0c9000\">","") .Replace("<font color=\" #0c9000\">","") .Replace("</font>", ""), Dy2018OnlineUrl = onlineURL, MovieIntro = zoom != null ? WebUtility.HtmlEncode(zoom.InnerHtml) : "暂无介绍...", //可能没有简介,虽然好像不怎么可能 XunLeiDownLoadURLList = lstDownLoadURL != null ? lstDownLoadURL.Select(d => d.FirstElementChild.InnerHtml).ToList() : null, //可能没有下载链接 PubDate = pubDate, }; return movieInfo;}
HTTPHelper 。
这边有个小坑,dy2018网页编码格式是GB2312,.NET Core默认不支持GB2312,使用Encoding.GetEncoding(“GB2312”)的时候会抛出异常.
解决方案是手动安装System.Text.Encoding.CodePages包(Install-Package System.Text.Encoding.CodePages).
然后在Starup.cs的Configure方法中加入Encoding.RegisterProvider(CodePagesEncodingProvider.Instance),接着就可以正常使用Encoding.GetEncoding(“GB2312”)了.
using System;using System.Net.Http;using System.Net.Http.Headers;using System.Text;namespace Dy2018Crawler{ public class HTTPHelper { public static HttpClient Client { get; } = new HttpClient(); publicstaticstringGetHTMLByURL(stringurl) { try { System.Net.WebRequest wRequest = System.Net.WebRequest.Create(url); wRequest.ContentType = "text/html; charset=gb2312"; wRequest.Method = "get"; wRequest.UseDefaultCredentials = true; // Get the response instance. var task = wRequest.GetResponseAsync(); System.Net.WebResponse wResp = task.Result; System.IO.Stream respStream = wResp.GetResponseStream(); //dy2018这个网站编码方式是GB2312, using (System.IO.StreamReader reader = new System.IO.StreamReader(respStream, Encoding.GetEncoding("GB2312"))) { return reader.ReadToEnd(); } } catch (Exception ex) { Console.WriteLine(ex.ToString()); return string.Empty; } } }}
定时任务的实现 。
定时任务我这里使用的是 Pomelo.AspNetCore.TimedJob .
Pomelo.AspNetCore.TimedJob是一个.NET Core实现的定时任务job库,支持毫秒级定时任务、从数据库读取定时配置、同步异步定时任务等功能.
由.NET Core社区大神兼前微软MVP AmamiyaYuuko (入职微软之后就卸任MVP…)开发维护,不过好像没有开源,回头问下看看能不能开源掉.
nuget上有各种版本,按需自取。地址: https://www.nuget.org/packages/Pomelo.AspNetCore.TimedJob/1.1.0-rtm-10026 。
作者自己的介绍文章: Timed Job - Pomelo扩展包系列 。
Startup.cs相关代码 。
我这边使用的话,首先肯定是先安装对应的包:Install-Package Pomelo.AspNetCore.TimedJob -Pre 。
然后在Startup.cs的ConfigureServices函数里面添加Service,在Configure函数里面Use一下.
// This method gets called by the runtime. Use this method to add services to the container.publicvoidConfigureServices(IServiceCollection services){ // Add framework services. services.AddMvc(); //Add TimedJob services services.AddTimedJob();} publicvoidConfigure(IApplicationBuilder app, IHostingEnvironment env, ILoggerFactory loggerFactory){ //使用TimedJob app.UseTimedJob(); if (env.IsDevelopment()) { app.UseDeveloperExceptionPage(); app.UseBrowserLink(); } else { app.UseExceptionHandler("/Home/Error"); } app.UseStaticFiles(); app.UseMvc(routes => { routes.MapRoute( name: "default", template: "{controller=Home}/{action=Index}/{id?}"); }); Encoding.RegisterProvider(CodePagesEncodingProvider.Instance);}
Job相关代码 。
接着新建一个类,明明为XXXJob.cs,引用命名空间using Pomelo.AspNetCore.TimedJob,XXXJob继承于Job,添加以下代码.
public class AutoGetMovieListJob:Job { // Begin 起始时间;Interval执行时间间隔,单位是毫秒,建议使用以下格式,此处为3小时; //SkipWhileExecuting是否等待上一个执行完成,true为等待; [Invoke(Begin = "2016-11-29 22:10", Interval = 1000 * 3600*3, SkipWhileExecuting =true)] publicvoidRun() { //Job要执行的逻辑代码 //LogHelper.Info("Start crawling"); //AddToLatestMovieList(100); //AddToHotMovieList(); //LogHelper.Info("Finish crawling"); }}
项目发布相关 新增runtimes节点 。
使用VS2015新建的模板工程,project.json配置默认是没有runtimes节点的. 。
我们想要发布到非Windows平台的时候,需要手动配置一下此节点以便生成.
"runtimes": { "win7-x64": {}, "win7-x86": {}, "osx.10.10-x64": {}, "osx.10.11-x64": {}, "ubuntu.14.04-x64": {}}
删除/注释scripts节点 。
生成时会调用node.js脚本构建前端代码,这个不能确保每个环境都有bower存在…注释完事.
//"scripts": {// "prepublish": [ "bower install", "dotnet bundle" ],// "postpublish": [ "dotnet publish-iis --publish-folder %publish:OutputPath% --framework %publish:FullTargetFramework%" ]//},
删除/注释dependencies节点里面的type 。
"dependencies": { "Microsoft.NETCore.App": { "version": "1.1.0" //"type": "platform" },
project.json的相关配置说明可以看下这个官方文档: Project.json-file .
或者张善友老师的文章 .NET Core系列 : 2 、project.json 这葫芦里卖的什么药 。
开发编译发布 。
//还原各种包文件dotnet restore;//发布到C:\code\website\Dy2018Crawler文件夹dotnet publish -r ubuntu.14.04-x64 -c Release -o "C:\code\website\Dy2018Crawler";
最后,照旧开源……以上代码都在下面找到:
Gayhub地址: https://github.com/liguobao/Dy2018Crawler 。
PS:回头写个爬片大家滋持不啊… 。
最后此篇关于用.NET Core写爬虫爬取电影天堂的文章就讲到这里了,如果你想了解更多关于用.NET Core写爬虫爬取电影天堂的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
我需要(我必须)将大量 float 写入 qdatastream 并且我只使用 4 个字节是必要的。setFloatingPointPrecision 或为 float 和 double 写入 4 或
我有一些 C 代码,我用 Python 对其进行了扩展。扩展的 C 代码有一个将一些结构附加到二进制文件的函数: void writefunction(const struct struct1* so
我正在用 C 语言开发一个小软件,用于在布告栏中读取和写入消息。每条消息都是一个以渐进数字命名的 .txt。 软件是多线程的,有很多用户可以并发操作。 用户可以进行的操作有: 阅读整个公告板(所有 .
我有 2 个线程同时访问同一个大文件 (.txt)。 第一个线程正在从文件中读取。第二个线程正在写入文件。 两个线程都访问同一个 block ,例如(开始:0, block 大小:10),但具有不同的
我做了很多谷歌搜索,但我仍然不确定如何继续。 Linux 下最常见的剪贴板读写方式是什么?我想要同时支持 Gnome 和 KDE 桌面。 更新:我是否认为没有简单的解决方案,必须将多个来源(gnome
1. 定义配置文件信息 有时候我们为了统一管理会把一些变量放到 yml 配置文件中 例如 图片 用 @ConfigurationProperties 代替 @Value 使用方法 定义对应字段的实体
在开始之前,我必须先声明我是 FORTRAN 的新手。我正在维护 1978 年的一段遗留代码。它的目的是从文件中读取一些数据值,处理这些值,然后将处理过的值输出到另一个文本文件。 给定以下 FORTR
我正在制作一个应用程序,我需要存储用户提供的一些信息。我尝试使用 .plist 文件来存储信息,我发现: NSString *filePath = @"/Users/Denis/Documents/X
在delphi类中声明属性时是否可能有不同类型的结果? 示例: 属性月份:字符串读取monthGet(字符串)写入monthSet(整数); 在示例中,我希望在属性(property)月份中,当我:读
我正在以二进制形式将文件加载到数组中,这似乎需要一段时间有没有更好更快更有效的方法来做到这一点。我正在使用类似的方法写回文件。 procedure openfile(fname:string); va
我想实现一个运行模拟的C#控制台应用程序。另外,我想给用户机会在控制台上按“+”或“-”来加速/减速模拟的速度。 有没有办法在编写控制台时读取控制台?我相信我可以为此使用多线程,但是我却不怎么做(我对
这是我的代码: use std::fs::File; use std::io::Write; fn main() { let f = File::create("").unwrap();
我有一个应用程序可以访问 csv 文本文件中的单词。由于它们通常不会更改,因此我将它们放置在 .jar 文件中,并使用 .getResourceAsStream 调用读取它们。我真的很喜欢这种方法,因
我使用kubeadm,docker 17.12.1-ce和法兰绒网络安装了Kubernetes 1.13.1集群 但是,我发现Kubernetes主服务器上有许多空文件,权限为666,该文件允许任何用
我的工作区中有一些 java 文件。现在我想编写一个java程序,它可以读取来自不同源的文本文件,一次一个,一行一行,并将这些行插入到工作区中各自的java文件中。 文本文件会告诉我将哪个文件插入到哪
用户A要求系统读取文件foo,同时用户B想要将他或她的数据保存到同一个文件中。在文件系统级别如何处理这种情况? 最佳答案 大多数文件系统(但不是全部)使用锁定来保护对同一文件的并发访问。锁可以是独占的
我对保护移动应用程序的 firebase 数据库有一些疑问。 例如,在反编译Android应用程序后,黑客可以获取firebase api key 然后访问firebase数据库,这是正确的吗? 假设
我想让文件从外部不可删除,并希望使用java从程序对该文件进行读/写操作。 S0,我使用以下代码使用java创建了不可删除的文件: Process pcs = Runtime.getRunti
当 Selector.select() 以阻塞模式等待读/写操作时,是否可以将写消息推送到客户端?如何将选择器从阻塞模式移至写入模式?触发器可以是一个后台线程,用于放置需要写入给定 channel 的
我目前正在学习在 Linux 环境中使用 C 进行套接字编程。作为一个项目,我正在尝试编写一个基本的聊天服务器和客户端。 目的是让服务器为每个连接的客户端派生一个进程。 我遇到的问题是读取一个 chi
我是一名优秀的程序员,十分优秀!