python 爬取吉首大学网站成绩单-6ren

python 爬取吉首大学网站成绩单

转载作者：qq735679552 更新时间：2022-09-27 22:32:09

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章python 爬取吉首大学网站成绩单由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

项目地址：

https://github.com/chen0495/pythoncrawlerforjsu 。

环境

python 3.5即以上
request、beautifulsoup、numpy、pandas.
安装beautifulsoup使用命令pip install beautifulsoup4

配置及使用

登陆学校成绩单查询网站,修改cookie. 。

python 爬取吉首大学网站成绩单

按f12后按ctrl+r刷新一下,获取cookie的方法见下图

python 爬取吉首大学网站成绩单

修改爬虫url为自己的成绩单网址. 。

python 爬取吉首大学网站成绩单

运行src/main.py文件即可在/result下得到csv文件. 。

结果展示

python 爬取吉首大学网站成绩单

完整代码

 
    ? 
   
         # -*- coding: utf-8 -*- 
        
         # @time    : 5/29/2021 2:13 pm 
        
         # @author  : chen0495 
        
         # @email   : 1346565673@qq.com|chenweiin612@gmail.com 
        
         # @file    : main.py 
        
         # @software: pycharm 
        
         import 
         requests as rq 
        
         from 
         bs4  
         import 
         beautifulsoup as bs 
        
         import 
         numpy as np 
        
         import 
         pandas as pd 
        
         rq.adapters.default_retries  
         = 
         5 
        
         s  
         = 
         rq.session() 
        
         s.keep_alive  
         = 
         false  
         # 关闭多余连接 
        
         header  
         = 
         {  
         # 请更改cookie 
        
         'user-agent' 
         :  
         'mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/92.0.4501.0 safari/537.36 edg/92.0.891.1' 
         , 
        
         'cookie' 
         :  
         'wengine_vpn_ticketwebvpn_jsu_edu_cn=xxxxxxxxxx; show_vpn=1; refresh=1' 
        
         } 
        
         # 请更改url 
        
         r  
         = 
         rq.get( 
         'https://webvpn.jsu.edu.cn/https/xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx/jsxsd/kscj/cjcx_list' 
         , headers  
         = 
         header, verify 
         = 
         false) 
        
         soup  
         = 
         bs(r.text, 
         'html.parser' 
         ) 
        
         head  
         = 
         [] 
        
         for 
         th  
         in 
         soup.find_all( 
         "th" 
         ): 
        
         head.append(th.text) 
        
         while 
         ''  
         in 
         head: 
        
         head.remove('') 
        
         head.remove( 
         '序号' 
         ) 
        
         context  
         = 
         np.array(head) 
        
         x  
         = 
         [] 
        
         flag  
         = 
         0 
        
         for 
         td  
         in 
         soup.find_all( 
         "td" 
         ): 
        
         if 
         flag! 
         = 
         0 
         and 
         flag 
         % 
         11 
         ! 
         = 
         1 
         : 
        
         x.append(td.text) 
        
         if 
         flag 
         % 
         11 
         = 
         = 
         0 
         and 
         flag! 
         = 
         0 
         : 
        
         context  
         = 
         np.row_stack((context,np.array(x))) 
        
         x.clear() 
        
         flag 
         + 
         = 
         1 
        
         context  
         = 
         np.delete(context, 
         0 
         ,axis 
         = 
         0 
         ) 
        
         data  
         = 
         pd.dataframe(context,columns 
         = 
         head) 
        
         print 
         (data) 
        
         # 生成文件,亲更改文件名 
        
         data.to_csv( 
         '../result/result.csv' 
         ,encoding 
         = 
         'utf-8-sig' 
         )

以上就是python 爬取吉首大学成绩单的详细内容，更多关于python 爬取成绩单的资料请关注我其它相关文章！。

原文链接：https://github.com/chen0495/pythonCrawlerForJSU 。

最后此篇关于python 爬取吉首大学网站成绩单的文章就讲到这里了,如果你想了解更多关于python 爬取吉首大学网站成绩单的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

文章推荐： Python类的继承、多态及获取对象信息操作详解

文章推荐： Pytorch DataLoader shuffle验证方式

文章推荐： django模板结构优化的方法

文章推荐： python 批量压缩图片的脚本

c# - 取 'First'空格字符前后的字符串
我在字符串中有一个大词。例子白 Wine 额外优惠。我想在第一行使用“White”，在第二行使用“wine extra offer”。使用下面的代码: string value="White win
取 INT_MIN 绝对值的正确方法
我想在无符号中执行一些算术运算，需要取负整数的绝对值，比如 do_some_arithmetic_in_unsigned_mode(int some_signed_value) { unsign
r - 带向量函数的数据表聚合，取 2
我正在努力使用 data.table 来总结向量函数的结果，这在 ddply 中很容易。问题 1:使用带有矢量输出的(昂贵的)函数聚合 dt dt[ , as.list(quantile(x)),
logarithm - 使用对数避免数值下溢的算术问题(取 2)
我有两个分数列表；说 A = [ 1/212, 5/212, 3/212, ... ] 和 B = [ 4/143, 7/143, 2/143, ... ] . 如果我们定义 A' = a[0] *
python - 取 numpy 数组中列的平均值
我已经使用 numpy 从 csv 文件中获取数据。 numpy 数组的尺寸为:100*20。我如何取列的平均值(比如 col 3,5,8)并用包含这 3 个 cols 平均值的新列替换它们如果
rust - 取 n 次根
在 Rust 中取任意数的 n 次根的最佳方法是什么？例如，num crate 只允许取整数类型的第 n 个主根，即 floor'ed 或 ceil'ed 值......如何最好地接近实际值？最佳答
r - 取 dplyr 中字符串定义的变量的平均值
看起来这应该很容易，但我很困惑。我已经掌握了使用 dplyr 进行编程的大致技巧0.7，但为此苦苦挣扎:How do Iprogram in dplyr我想要编程的变量是否是一个字符串？我正在抓取数
rust - 取 n 次根
在 Rust 中取任意数的 n 次根的最佳方法是什么？例如，num crate 只允许取整数类型的第 n 个主根，即 floor'ed 或 ceil'ed 值......如何最好地接近实际值？最佳答
python - 取 pandas 数据框中一系列行的平均值
我有一个 pandas 数据框，其中有一列名为“coverage”。对于一系列特定索引值，我想获取前 100 行的平均“覆盖率”值。例如，对于索引位置 1001，我想要第 901-1000 行的平均“
python - 取 pandas 中两个时间戳范围条件的交集
import pandas as pd data = {'date': ['1998-03-01', '2001-04-01','1998-06-01','2001-08-01','2001-05-0
ios - 取 NSArray 段的平均值
我有一个包含 100 个数字的 NSArray。我想创建一个 5 个数字的 NSArray。第二个数组中的第一个数字是第一个数组中前 20 个数字的平均值。第二个数字是第一个数组中第二组 20 个数字
iphone - 取 CGFloat 的绝对值
我该怎么做？我试过 abs() 但它只适用于整数。有内置的方法吗？ CGFloat flo = -123; abs(flo) 返回 0 最佳答案使用 fabs() CGFloat f = -123.
scala - 取 UInt 的 log2Ceil
我正在采用以下计算的 log2: tl_out.a.bits.size := log2Ceil(s1_row * s2_column * 4.U) 其中，s1_row 和 s2_column 是 UI
c# - 取 n 个元素。结束的从头开始
如何从 m 个元素集合中取出 n 个元素，以便在元素用完时从头开始？ List list = new List() {1, 2, 3, 4, 5, 6, 7, 8, 9, 10}; List newL
java - ObjectOutputStream 取 BufferedOutputStream 时不写入对象
我已经完成了研究，但似乎找不到有关该主题的足够文档。在 Object streams 上尝试一些代码时，我注意到将 BufferedOutputStream 放入 ObjectOutputStrea
python - 取 pandas groupby 中不同大小的组之间的差异
我需要计算数据中连续时间组之间的差异，如下所示 from io import StringIO import pandas as pd strio = StringIO("""\
javascript - Mongoose - 取 [Number] 的总和并将新属性添加到同一文档
我在 Mongo 数据库中有以下文档: { _id: 1, question: "Blue or red?", __v: 0, votes: [9, 5] } 我想在后
css - 浏览器兼容的自动换行和空格 : pre?(取 2)
好吧，宇宙中一定有人知道这个问题的答案。我已经在这里问过这个问题，但仍然没有解决方案。我需要保留和换行 div 中的文本。到目前为止，我很难想出解决方案。我找到的最佳解决方案并不适用于所有浏览器。
java - 取 3 个整数，创建一个日期
我正在尝试采用 3 个单独的整数输入(年、月、日)并采用这 3 个条目并从中形成一个日期对象，以便我可以使用它来比较其他日期。这是我目前所拥有的，不知从何而来: public void compar
ios - 取 NSString 占位符的 C 函数宏
在我的 IOS 项目中，我有一个包含该函数的自定义 Logger 类(单例) - (void)log:(NSString *)domain logLevel:(int)level logMessage

qq735679552

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城