javascript - 使用 BeautifulSoup4 解析来自 Jquery DataTable 的行-6ren

javascript - 使用 BeautifulSoup4 解析来自 Jquery DataTable 的行

转载作者：行者123 更新时间：2023-11-30 19:26:03

网站:https://chp.coth.com/entries

我对 BS4 有一些经验，但这让我陷入了困境。 DataTables 通过按下按钮时的函数调用执行 XHR 请求，但使用开发人员工具中的“网络”选项卡显示 POST 转到'https://chp.coth.com/entries/List '.

我注意到发件人数据包括页码，我确信有一种方法可以使用请求发送带有 JSON 字符串的帖子，直到列表末尾，但我不太确定该怎么做它。如果没有 Selenium 或类似工具，这可能吗？

最佳答案

此脚本遍历所有页面(1..7，您可以增加此数字以解析更多结果)并向 https://chp.coth.com/entries/List 发出 POST 请求.重要的部分是设置标题 'X-Requested-With'至 'XMLHttpRequest'和正确的页码:

import requests
from bs4 import BeautifulSoup

url = 'https://chp.coth.com/entries/List'

data = {
    'num': '',
    'page': '1',
    'sort_on': 'number',
    'sort_type': 'ASC',
}

headers = {'X-Requested-With' : 'XMLHttpRequest'}

for page_num in range(1, 8):
    data['page'] = page_num
    r = requests.post(url, params=data, headers=headers)
    soup = BeautifulSoup(r.text, 'lxml')
    for tr in soup.select('tr'):
        for i, td in enumerate(tr.select('td')):
            if i == 0:
                print('{: >5}'.format(td.text), end='|')
            else:
                print('{: >35}'.format(td.text), end='|')
        print()

打印:

  501|                          LEADGURIA|                         WESLEY FOX|                     LAURIE GRAYSON|
  502|                         WINCHESTER|                     CHIARA SASSANO|                     LAURIE GRAYSON|
  503|                     MERLIN'S TANGO|                     SYONA MORRISON|                     LAURIE GRAYSON|
  504|               GOLDINO VAN KOEKSHOF|                    COLLEEN GILMORE|                     LAURIE GRAYSON|
  510|                         CRESPO VDL|                     KAREN BANISTER|                     KAREN BANISTER|
  511|                          HERRADURA|                     KAREN BANISTER|                     KAREN BANISTER|
  512|                         SUGAR RUSH|                     HALEY HONEGGER|                    ALEXIA HONEGGER|
  520|                           BONJORNO|      ELISE VANDAMME, DENISE TILLEY|                      DENISE TILLEY|
  521|                            SIR RIO|      CHELSEA MAGNESS, STACEY SWINK|                        LAURA BAKER|
  522|                          CANDY MAN|      CHELSEA MAGNESS, STACEY SWINK|                        LAURA BAKER|

  523|                    SERGEANT PEPPER|      CHELSEA MAGNESS, STACEY SWINK|                        LAURA BAKER|
  524|                          CAYENNE F|         STACEY SWINK, BRUCE BANKER|                        LAURA BAKER|
  525|                            DESMOND|                       STACEY SWINK|                        LAURA BAKER|
  526|                      NIKO'S TAKURA|                   ISABELLA MANCINI|                        LAURA BAKER|
  527|                       THE BIG EASY|                    JESSICA OAKLIEF|                        LAURA BAKER|
  528|                      ZEPHYR’S SONG|                    ELEANOR ROZANCE|                        LAURA BAKER|
  529|                            CALISTO|                       LUCIA WELLSO|                        LAURA BAKER|
  530|                      CHESHIRE JACK|                      REVEN SWANSON|                        LAURA BAKER|
  531|                           KEEPSAKE|                       STACEY SWINK|                        LAURA BAKER|
  532|                           GRACEFUL|                        LAURA BAKER|                        LAURA BAKER|

  535|                   BULL RUN'S AGAPE|                        BRYN SADLER|                         WENDY HAIG|
  536|                       CLIFF AFFAIR|                        BRYN SADLER|                         WENDY HAIG|
  537|                          CINVEN CR|                        BRYN SADLER|                         WENDY HAIG|
  538|                            CEZARRO|                        BRYN SADLER|                         WENDY HAIG|
  539|                  BULL RUN'S LIVING|                        BRYN SADLER|                         WENDY HAIG|
  540|               CHICAGO VAN OVERIS Z|                        BRYN SADLER|                         WENDY HAIG|
  546|                  ALL I EVER WANTED|                    TEGAN ZIMMERMAN|                       RENAE COATES|
  547|                      COASTAL CZONE|TEGAN ZIMMERMAN, RENAE COATES, KAITLIN CAMPBELL|                       RENAE COATES|
  554|                        CALLIGRAPHY|                          AVA UHRIG|                    ALEXIA HONEGGER|
  555|                UTWO DE LA CERISAIE|                     ISABELLA UHRIG|                    ALEXIA HONEGGER|

  556|                  MR CAPTAIN COOK B|       ALEXIA HONEGGER, PAIGE MILES|                    ALEXIA HONEGGER|
  558|             KIRIKOU DES BRIMBELLES|                       JAYDEN SCOTT|                    ALEXIA HONEGGER|
  560|       INDOKTRO K VAN 'T KATTENHEYE|                      SUSAN GRIFFIS|                      SUSAN GRIFFIS|
  561|             DEAUVILLE VAN OVERIS Z|                      SUSAN GRIFFIS|                      SUSAN GRIFFIS|
  563|                            TRISTAN|        ERIC LAMON, GRETCHEN AYCOCK|                    GRETCHEN AYCOCK|
  564|                            TRILOGY|                    GRETCHEN AYCOCK|                    GRETCHEN AYCOCK|
  566|                  EMPIRE BEAR BONES|                     RACHEL MALONEY|                     RACHEL MALONEY|
  567|                     WINGS SUBLIEME|                     RACHEL MALONEY|                     RACHEL MALONEY|
  571|                     J.E.S. CIBELLE|                    ASHLEY BUCHANAN|                    JOHN MC CONNELL|
  572|                   CHIANTI CLASSICO|                    ASHLEY BUCHANAN|                    JOHN MC CONNELL|

  573|                        POLAR LIGHT|                    ASHLEY BUCHANAN|                    JOHN MC CONNELL|
  574|                           BYKARLOS|                       KATHY KRAMER|                    ALEXIA HONEGGER|
  576|                             VONNOH|                   SABRINA OHLROGGE|                    ALEXIA HONEGGER|
  577|                        JUST SAY SO|                      HANNAH WRIGHT|                     LAURIE GRAYSON|
  580|                         BURGUNDY B|                     AMELIA JOHNSON|                    ALEXIA HONEGGER|
  583|                      PITCH PERFECT|                    EMILY SCHOELZEL|                    REBECCA JOHNSON|
  584|                           CATANA S|                    SHELBY BURLESON|                          AMY HENZE|
  585|                           CALLE 87|     ASHLEY RHEINGOLD, SARAH WATSON|                          AMY HENZE|
  586|                             AMEDEO|                      JULIA FISCHER|                          AMY HENZE|
  589|                               ITON|                  ISABELLA LOMBARDO|                    REBECCA JOHNSON|

  590|             PLEASANT VALLEY SUNDAY|                        SARAH YOUNG|                     JANE SCHWEIGER|
  596|                 GODS DREAM CATCHER|         KAIYA KOLB, KAREN BANISTER|                     KAREN BANISTER|
  598|                           MAGNOLIA|                     KAREN BANISTER|                     KAREN BANISTER|
  606|                          HIGH TIME|                       ANNIE GRABER|                       ANNIE GRABER|
  607|                     RINGO'S A STAR|                     RILEY GILBRETH|                    ALEXIA HONEGGER|
  608|                            COURAGE|       MEGAN SOUTHAM, EMERY VOLKERT|                    CINDY CRUCIOTTI|
  609|                              NEIGH|                     GRACE HAMILTON|                    CINDY CRUCIOTTI|
  610|                    INDEPENDENCE KF|    ELIZABETH LATSIS, MEGAN SOUTHAM|                    CINDY CRUCIOTTI|
  611|                       THREE RIVERS|   JENNIFER WALLEN, KELLI CRUCIOTTI|                    CINDY CRUCIOTTI|
  612|                              MARGO|  MEGAN SOUTHAM, CASSANDRA RAGSDALE|                    CINDY CRUCIOTTI|

  613|                          CEDRIC 42|                    HANNA GILHOOLEY|                    CINDY CRUCIOTTI|
  614|                      MISS SCARLETT|GLORIA FOUNTAIN JAMES, MARIELLA  MILLER|                    CINDY CRUCIOTTI|
  615|                         ISHANA III|          MEGAN SOUTHAM, JENNA KOLB|                    CINDY CRUCIOTTI|
  616|                          REX ROMEO|    ELIZABETH LATSIS, MEGAN SOUTHAM|                    CINDY CRUCIOTTI|
  617|                                Q-T|    KELLI CLEVENGER, CAMBELL BOWERS|                    CINDY CRUCIOTTI|
  618|                        CAYMAN A.L.|ABIGAIL GRACE KELLEY, MEGAN SOUTHAM|                    CINDY CRUCIOTTI|
  619|                      ALL INCLUSIVE|               ABIGAIL GRACE KELLEY|                    CINDY CRUCIOTTI|
  620|                          MARGARITA|                 EMILY ELEK-BURTARD|                    CINDY CRUCIOTTI|
  621|                   SOUTHERN MARTINI|                      JOANNE JANSON|                    ALEXIA HONEGGER|
  623|                              BALDO|                        KATIE GLASS|                      KRISTIN JACOB|

关于javascript - 使用 BeautifulSoup4 解析来自 Jquery DataTable 的行，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/56895802/

文章推荐： javascript - 如何使用 tablesorter 分别对多组行进行排序？

文章推荐： c - 使用 gzFile 读取数据时文件描述符的偏移量不会移动

文章推荐： javascript - 如何构造，多个单页表单并在nodejs中处理它们

jquery - CoffeeScript 与 jQuery、jQuery ($) 和 jQuery
在带有 jQuery 的 CoffeeScript 中，以下语句有什么区别吗？ jQuery ($) -> jQuery -> $ - > 最佳答案第一个与其他两个不同，就像在纯 JavaScr
jquery - jQuery 为什么叫 jQuery？名字的由来是什么？
已关闭。这个问题是 off-topic 。目前不接受答案。想要改进这个问题吗？ Update the question所以它是on-topic用于堆栈溢出。已关闭13 年前。 Improve th
jquery - jQuery 插件和 jQuery 小部件之间的区别？
就目前情况而言，这个问题不太适合我们的问答形式。我们希望答案得到事实、引用资料或专业知识的支持，但这个问题可能会引发辩论、争论、民意调查或扩展讨论。如果您觉得这个问题可以改进并可能重新开放，visit
jquery - jQuery 生产和 jQuery 开发之间的区别？
这个问题可能听起来很愚蠢，但请耐心等待，因为我完全是初学者。我下载了两个 jQuery 版本，开发版本和生产版本。我想知道作为学习 jQuery 的初学者，什么更适合我。最佳答案如果您对 jQue
jquery - jQuery Mobile 使用什么版本的 jQuery？
The documentation说要使用 1.6.4，但我们现在已经升级到 1.7.2。我可以在 jQuery Mobile 中使用最新版本的 jQuery 吗？最佳答案您当然可以，但如果您想
jquery - jquery 新手 - jquery 弹出
我在这里看到这个不错的 jquery 插件:prettyphoto jquery lightbox有没有办法只用一个简单的jquery来实现这样的效果。我只需要弹出和内联内容。你的回复有很大帮助。
jquery - 使用 jQuery 附加 jQuery
很明显我正在尝试做一些 jQuery 不喜欢的事情。我正在使用 javascript 上传图片。每次上传图片时，我都希望它可见，并附加一个有效的删除脚本。显示工作正常，删除则不然，因为当我用 fir
jquery - jQuery 数组和 jQuery 对象之间的技术区别是什么？
这两个哪个是正确的？ jQuery('someclass').click(function() { alert("I've been clicked!"); }); 或 jQuery('somec
jquery - if (jQuery)(function ($) { . . .})(jQuery);插件格式
我正在寻找一个具有以下格式的插件 if (jQuery)(function ($) { -- plugin code -- })(jQuery); 我明白 (function ($)
jquery - 使用哪个版本的 jQuery/jQuery UI？
关闭。这个问题是opinion-based 。目前不接受答案。想要改进这个问题吗？更新问题，以便 editing this post 可以用事实和引文来回答它。 . 已关闭10 年前。 Improv
jQuery + jQuery 表单提交插件 + jQuery 验证插件
我知道这个问题已经被问过几次了，但想知道您是否可以帮助我解决这个问题。背景:我尝试创建一个使用 Ajax 提交的表单(jQuery 表单提交)。我已经工作得很好，然后我想在表单上得到验证。我可以使用
jquery - jquery 元数据插件和 jquery 验证插件的主要烦恼
我正在使用无处不在的jquery validate plugin用于表单验证。它支持使用metadata plugin用于向表单元素添加验证规则。我正在使用此功能。当验证查找这些规则时，它会对元素进
jquery - 使用 jQuery 还是不使用 jQuery？
我更喜欢为我一直在开发的网络社区添加实用的视觉效果，但随着事情开始堆积，我担心加载时间。拥有用户真的更快吗加载(希望是缓存的)副本来自 Google 存储库的 jquery？是否使用 jQuery
jquery - 有没有办法在 jQuery 中左右滑动而不使用 jQuery UI 和 jQuery Mobile
这个问题已经有答案了: Slide right to left? (17 个回答) 已关闭 9 年前。你能告诉我有没有办法在 jQuery 中左右滑动而不使用 jQuery UI 和 jQuery
jquery - XMLHttpRequest、jQuery.ajax、jQuery.post、jQuery.get 之间有什么区别
我如何找出最适合某种情况的方法？任何人都可以提供一些示例来了解功能和性能方面的差异吗？最佳答案 XMLHttpRequest 是原始浏览器对象，jQuery 将其包装成一种更有用和简化的形式以及跨浏
jquery - 为什么我在 Assets 安装时无法解析 'jQuery=jquery'？
运行时 php bin/console oro:assets:build ，我有 11 个这样的错误: ERROR in ../node_modules/jquery-form/src/jquery.
jquery - jQuery.ajax 在 jQuery 源代码中的哪里定义？
我试图找到 jQuery.ajax() 在源代码中的定义位置。但是，使用 grep 似乎不起作用。在哪里？谢谢。 > grep jQuery.ajax src/* src/ajax.js:// B
jquery - 从单独的 jQuery 对象创建 jQuery 对象集合
$.fn.sortByDepth = function() { var ar = []; var result = $([]); $(this).each(function()
jquery - jQuery.one() 和 jQuery.on() 之间的区别
我的页面上有多个图像。为了检测损坏的图像，我使用了在 SO 上找到的这个。 $('.imgRot').one('error',function(){ $(this).attr('src','b
jquery - jQuery 如何实现将 $ 设为 jQuery 函数的别名？
我在理解 $ 符号作为 jQuery 函数的别名时遇到了一些麻烦，尤其是在插件中。你能解释一下 jQuery 如何实现这种别名:它如何定义 '$' 作为 jQuery 函数的别名？这是第一个问题。其

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

javascript - 使用 BeautifulSoup4 解析来自 Jquery DataTable 的行