javascript - 使用 BeautifulSoup4 解析来自 Jquery DataTable 的行-6ren

javascript - 使用 BeautifulSoup4 解析来自 Jquery DataTable 的行

转载作者：行者123 更新时间：2023-11-30 19:26:03

网站:https://chp.coth.com/entries

我对 BS4 有一些经验，但这让我陷入了困境。 DataTables 通过按下按钮时的函数调用执行 XHR 请求，但使用开发人员工具中的“网络”选项卡显示 POST 转到'https://chp.coth.com/entries/List '.

我注意到发件人数据包括页码，我确信有一种方法可以使用请求发送带有 JSON 字符串的帖子，直到列表末尾，但我不太确定该怎么做它。如果没有 Selenium 或类似工具，这可能吗？

最佳答案

此脚本遍历所有页面(1..7，您可以增加此数字以解析更多结果)并向 https://chp.coth.com/entries/List 发出 POST 请求.重要的部分是设置标题 'X-Requested-With'至 'XMLHttpRequest'和正确的页码:

import requests
from bs4 import BeautifulSoup

url = 'https://chp.coth.com/entries/List'

data = {
    'num': '',
    'page': '1',
    'sort_on': 'number',
    'sort_type': 'ASC',
}

headers = {'X-Requested-With' : 'XMLHttpRequest'}

for page_num in range(1, 8):
    data['page'] = page_num
    r = requests.post(url, params=data, headers=headers)
    soup = BeautifulSoup(r.text, 'lxml')
    for tr in soup.select('tr'):
        for i, td in enumerate(tr.select('td')):
            if i == 0:
                print('{: >5}'.format(td.text), end='|')
            else:
                print('{: >35}'.format(td.text), end='|')
        print()

打印:

  501|                          LEADGURIA|                         WESLEY FOX|                     LAURIE GRAYSON|
  502|                         WINCHESTER|                     CHIARA SASSANO|                     LAURIE GRAYSON|
  503|                     MERLIN'S TANGO|                     SYONA MORRISON|                     LAURIE GRAYSON|
  504|               GOLDINO VAN KOEKSHOF|                    COLLEEN GILMORE|                     LAURIE GRAYSON|
  510|                         CRESPO VDL|                     KAREN BANISTER|                     KAREN BANISTER|
  511|                          HERRADURA|                     KAREN BANISTER|                     KAREN BANISTER|
  512|                         SUGAR RUSH|                     HALEY HONEGGER|                    ALEXIA HONEGGER|
  520|                           BONJORNO|      ELISE VANDAMME, DENISE TILLEY|                      DENISE TILLEY|
  521|                            SIR RIO|      CHELSEA MAGNESS, STACEY SWINK|                        LAURA BAKER|
  522|                          CANDY MAN|      CHELSEA MAGNESS, STACEY SWINK|                        LAURA BAKER|

  523|                    SERGEANT PEPPER|      CHELSEA MAGNESS, STACEY SWINK|                        LAURA BAKER|
  524|                          CAYENNE F|         STACEY SWINK, BRUCE BANKER|                        LAURA BAKER|
  525|                            DESMOND|                       STACEY SWINK|                        LAURA BAKER|
  526|                      NIKO'S TAKURA|                   ISABELLA MANCINI|                        LAURA BAKER|
  527|                       THE BIG EASY|                    JESSICA OAKLIEF|                        LAURA BAKER|
  528|                      ZEPHYR’S SONG|                    ELEANOR ROZANCE|                        LAURA BAKER|
  529|                            CALISTO|                       LUCIA WELLSO|                        LAURA BAKER|
  530|                      CHESHIRE JACK|                      REVEN SWANSON|                        LAURA BAKER|
  531|                           KEEPSAKE|                       STACEY SWINK|                        LAURA BAKER|
  532|                           GRACEFUL|                        LAURA BAKER|                        LAURA BAKER|

  535|                   BULL RUN'S AGAPE|                        BRYN SADLER|                         WENDY HAIG|
  536|                       CLIFF AFFAIR|                        BRYN SADLER|                         WENDY HAIG|
  537|                          CINVEN CR|                        BRYN SADLER|                         WENDY HAIG|
  538|                            CEZARRO|                        BRYN SADLER|                         WENDY HAIG|
  539|                  BULL RUN'S LIVING|                        BRYN SADLER|                         WENDY HAIG|
  540|               CHICAGO VAN OVERIS Z|                        BRYN SADLER|                         WENDY HAIG|
  546|                  ALL I EVER WANTED|                    TEGAN ZIMMERMAN|                       RENAE COATES|
  547|                      COASTAL CZONE|TEGAN ZIMMERMAN, RENAE COATES, KAITLIN CAMPBELL|                       RENAE COATES|
  554|                        CALLIGRAPHY|                          AVA UHRIG|                    ALEXIA HONEGGER|
  555|                UTWO DE LA CERISAIE|                     ISABELLA UHRIG|                    ALEXIA HONEGGER|

  556|                  MR CAPTAIN COOK B|       ALEXIA HONEGGER, PAIGE MILES|                    ALEXIA HONEGGER|
  558|             KIRIKOU DES BRIMBELLES|                       JAYDEN SCOTT|                    ALEXIA HONEGGER|
  560|       INDOKTRO K VAN 'T KATTENHEYE|                      SUSAN GRIFFIS|                      SUSAN GRIFFIS|
  561|             DEAUVILLE VAN OVERIS Z|                      SUSAN GRIFFIS|                      SUSAN GRIFFIS|
  563|                            TRISTAN|        ERIC LAMON, GRETCHEN AYCOCK|                    GRETCHEN AYCOCK|
  564|                            TRILOGY|                    GRETCHEN AYCOCK|                    GRETCHEN AYCOCK|
  566|                  EMPIRE BEAR BONES|                     RACHEL MALONEY|                     RACHEL MALONEY|
  567|                     WINGS SUBLIEME|                     RACHEL MALONEY|                     RACHEL MALONEY|
  571|                     J.E.S. CIBELLE|                    ASHLEY BUCHANAN|                    JOHN MC CONNELL|
  572|                   CHIANTI CLASSICO|                    ASHLEY BUCHANAN|                    JOHN MC CONNELL|

  573|                        POLAR LIGHT|                    ASHLEY BUCHANAN|                    JOHN MC CONNELL|
  574|                           BYKARLOS|                       KATHY KRAMER|                    ALEXIA HONEGGER|
  576|                             VONNOH|                   SABRINA OHLROGGE|                    ALEXIA HONEGGER|
  577|                        JUST SAY SO|                      HANNAH WRIGHT|                     LAURIE GRAYSON|
  580|                         BURGUNDY B|                     AMELIA JOHNSON|                    ALEXIA HONEGGER|
  583|                      PITCH PERFECT|                    EMILY SCHOELZEL|                    REBECCA JOHNSON|
  584|                           CATANA S|                    SHELBY BURLESON|                          AMY HENZE|
  585|                           CALLE 87|     ASHLEY RHEINGOLD, SARAH WATSON|                          AMY HENZE|
  586|                             AMEDEO|                      JULIA FISCHER|                          AMY HENZE|
  589|                               ITON|                  ISABELLA LOMBARDO|                    REBECCA JOHNSON|

  590|             PLEASANT VALLEY SUNDAY|                        SARAH YOUNG|                     JANE SCHWEIGER|
  596|                 GODS DREAM CATCHER|         KAIYA KOLB, KAREN BANISTER|                     KAREN BANISTER|
  598|                           MAGNOLIA|                     KAREN BANISTER|                     KAREN BANISTER|
  606|                          HIGH TIME|                       ANNIE GRABER|                       ANNIE GRABER|
  607|                     RINGO'S A STAR|                     RILEY GILBRETH|                    ALEXIA HONEGGER|
  608|                            COURAGE|       MEGAN SOUTHAM, EMERY VOLKERT|                    CINDY CRUCIOTTI|
  609|                              NEIGH|                     GRACE HAMILTON|                    CINDY CRUCIOTTI|
  610|                    INDEPENDENCE KF|    ELIZABETH LATSIS, MEGAN SOUTHAM|                    CINDY CRUCIOTTI|
  611|                       THREE RIVERS|   JENNIFER WALLEN, KELLI CRUCIOTTI|                    CINDY CRUCIOTTI|
  612|                              MARGO|  MEGAN SOUTHAM, CASSANDRA RAGSDALE|                    CINDY CRUCIOTTI|

  613|                          CEDRIC 42|                    HANNA GILHOOLEY|                    CINDY CRUCIOTTI|
  614|                      MISS SCARLETT|GLORIA FOUNTAIN JAMES, MARIELLA  MILLER|                    CINDY CRUCIOTTI|
  615|                         ISHANA III|          MEGAN SOUTHAM, JENNA KOLB|                    CINDY CRUCIOTTI|
  616|                          REX ROMEO|    ELIZABETH LATSIS, MEGAN SOUTHAM|                    CINDY CRUCIOTTI|
  617|                                Q-T|    KELLI CLEVENGER, CAMBELL BOWERS|                    CINDY CRUCIOTTI|
  618|                        CAYMAN A.L.|ABIGAIL GRACE KELLEY, MEGAN SOUTHAM|                    CINDY CRUCIOTTI|
  619|                      ALL INCLUSIVE|               ABIGAIL GRACE KELLEY|                    CINDY CRUCIOTTI|
  620|                          MARGARITA|                 EMILY ELEK-BURTARD|                    CINDY CRUCIOTTI|
  621|                   SOUTHERN MARTINI|                      JOANNE JANSON|                    ALEXIA HONEGGER|
  623|                              BALDO|                        KATIE GLASS|                      KRISTIN JACOB|

关于javascript - 使用 BeautifulSoup4 解析来自 Jquery DataTable 的行，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/56895802/

文章推荐： javascript - 如何使用 tablesorter 分别对多组行进行排序？

文章推荐： c - 使用 gzFile 读取数据时文件描述符的偏移量不会移动

文章推荐： javascript - 如何构造，多个单页表单并在nodejs中处理它们

javascript - 控制台错误 - 解析 AJAX JSON 解析
我一直在使用 AJAX 从我正在创建的网络服务中解析 JSON 数组时遇到问题。我的前端是一个简单的 ajax 和 jquery 组合，用于显示从我正在创建的网络服务返回的结果。尽管知道我的数据库查
xml - Json 解析 vs xml 解析？
很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈，无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开，visit the help center . 关闭 1
android - java.lang.NoClassDefFoundError : com. 解析。解析
我在尝试运行 Android 应用程序时遇到问题并收到以下错误 java.lang.NoClassDefFoundError: com.parse.Parse 当我尝试运行该应用时。最佳答案在这
python - 解析 HTML 内容时防止 etree 解析 HTML 实体
有什么办法可以防止etree在解析HTML内容时解析HTML实体吗？ html = etree.HTML('&') html.find('.//body').text 这给了我 '&' 但我想
javascript - 使用 JSON 解析/解析 js 对象时，返回方法中的函数范围会丢失
我有一个有点疯狂的例子，但对于那些 JavaScript 函数作用域专家来说，它看起来是一个很好的练习: (function (global) { // our module number one
java - 使用 Java 解析 HTML 数据(DOM 解析)
关闭。此题需要details or clarity 。目前不接受答案。想要改进这个问题吗？通过 editing this post 添加详细信息并澄清问题. 已关闭 8 年前。 Improve th
php - 在服务器上用 PHP 解析 HTML 还是在最终用户端用 JavaScript 解析 HTML 会更好？
我需要编写一个脚本来获取链接并解析链接页面的 HTML 以提取标题和其他一些数据，例如可能是简短的描述，就像您链接到 Facebook 上的内容一样。当用户向站点添加链接时将调用它，因此在客户端启动
node.js - 为什么 npm 包从/AppData 解析，而不是从 local/node_modules 解析？
在 VS Code 中本地开发时，包解析为 C:/Users//AppData/Local/Microsoft/TypeScript/3.5/node_modules/@types//index而不是
php - 解析 json 错误 : SyntaxError: JSON. 解析:JSON 数据的第 1 行第 2 列出现意外字符
我在将 json 从 php 解析为 javascript 时遇到问题这是我的示例代码: //function MethodAjax = function (wsFile, param) {
php - 解析 json 错误 : SyntaxError: JSON. 解析:JSON 数据的第 1 行第 2 列出现意外字符
我在将 json 从 php 解析为 javascript 时遇到问题这是我的示例代码: //function MethodAjax = function (wsFile, param) {
解析，在哪里可以了解
我被赋予了将一种语言“翻译”成另一种语言的工作。对于使用正则表达式的简单逐行方法来说，源代码过于灵活(复杂)。我在哪里可以了解更多关于词法分析和解析器的信息？最佳答案如果你想对这个主题产生“情绪化
正则表达式 {} 解析
您好，我在解析此文本时遇到问题 { { { {[system1];1;1;0.612509325}; {[system2];1;
JavaScript 解析？
我正在为 adobe after effects 在 extendscript 中编写一些代码，最终变成了 javascript。我有一个数组，我想只搜索单词“assemble”并返回整个 jc3_
JavaScript 解析
我有这段代码: $(document).ready(function() { // }); 问题:FB_RequireFeatures block 外部的代码先于其内部的代码执行。因此 who
解析.netcore项目中IStartupFilter使用教程
背景： netcore项目中有些服务是在通过中间件来通信的，比如orleans组件。它里面服务和客户端会指定网关和端口，我们只需要开放客户端给外界，服务端关闭端口。相当于去掉host，这样省掉了些
解析:继承ViewGroup后的子类如何重写onMeasure方法
1.首先贴上我试验成功的代码复制代码代码如下: protected void onMeasure(int widthMeasureSpec, int heightMeasureSpec)
Python如何对XML 解析
什么是 XML？ XML 指可扩展标记语言（eXtensible Markup Language），标准通用标记语言的子集，是一种用于标记电子文件使其具有结构性的标记语言。你可以通过本站学习 X
解析:php调用MsSQL存储过程使用内置RETVAL获取过程中的return值
【PHP代码】复制代码代码如下: $stmt = mssql_init('P__Global_Test', $conn) or die("initialize sto
解析:清除SQL被注入恶意病毒代码的语句
在SQL查询分析器执行以下代码就可以了。复制代码代码如下: declare @t varchar(255),@c varchar(255) declare table_cursor curs
【JavaScript】前端算法题40道题+解析
前言最近练习了一些前端算法题，现在做个总结，以下题目都是个人写法，并不是标准答案，如有错误欢迎指出，有对某道题有新的想法的友友也可以在评论区发表想法，互相学习🤭 题目题目一: 二维数组中的

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

javascript - 使用 BeautifulSoup4 解析来自 Jquery DataTable 的行