python scrapy - 从 中提取数据 - 没有 id 标签

转载 作者：太空宇宙 更新时间：2023-11-04 15:52:41 26 4

我对 Python 和 Scrapy 还很陌生，所以我创建了一个项目供自己学习。但目前我正在努力从以下页面获取数据:Website to crawl

正如我在 Chrome/Firefox 的“开发者工具”中看到的那样，有 8 个表的类如下:<table class="sc-fHxwqH ddWfJE">

在这张图片中structure and table I'd like to extract您会看到我要提取的结构和列 ( <td>)，其中值为 = "Wheelchair accessible"。该值位于第二列，它是一个图片标签。它是这样读的:如果我能找到它(在本例中为“Wheelchair accessible”)，则该值等于 true 如果我根本找不到它，则该值等于 false。

我管理它周围的事情，比如浏览网站的父详细信息三。但是现在我无法浏览到正确的 XPATH 来找到这个带有 class="sc-fHxwqH ddWfJE" 的表。

我试图将其缩小到 shell cmd 中的最基础部分:

scrapy shell 'https://www.immoscout24.ch/de/d/wohnung-kaufen-bevilard/4761145?s=2&t=2&l=436&r=40&se=16&ci=3&ct=1290'
tables = response.xpath('//*[@class="sc-fHxwqH ddWfJE"]/table')
for table in tables[1:]:
    print("I found it!!") #this should be returned 8 times, once for each table
    table.xpath('tr/td[1]//text()').extract_first()

轮椅无障碍 channel 的完整路径是: //*[@id="root"]/div/div/div[1]/section/article[7]/table/tbody/tr[1]/td[1]

不幸的是，上面的代码没有返回任何内容。我没有收到任何错误，但也没有我期望的打印结果。

1. 我做错了什么？我想不会那么难吧？
2. 找到正确的表后，如何以最简单、最快的方式将表中的数据提取为 JSON？我想这会很慢，因为基本上我需要多次解析整个 HTML 代码以查找每个属性描述是否存在？

非常感谢您的所有帮助或任何提示!我已经花了几天时间试图弄明白..

最佳答案

不需要请求 HTML、抓取节点值并将它们放入 JSON，因为所需数据已经以 JSON 格式来自 API

简单尝试

import requests
import json

url = "https://react-api.immoscout24.ch/v1.3/properties/4761145?ci=3&ct=1290&l=436&lng=de&p=4761145&r=40&s=2&se=16&t=2"
response = requests.get(url).json()

然后你可以得到所需的数据，比如

print(response['propertyDetails']['agency'])

输出:

{'companyCity': 'Bevilard', 'companyName1': 'avendre.ch ', 'companyName2': 'Agen
ce Berne', 'companyPhoneMobile': '078 868 60 64', 'companyStreet': 'Rue Principa
le 41', 'companyZip': '2735', 'email': 'berne@avendre.ch', 'firstName': 'Verena'
, 'gender': 'f', 'lastName': 'Pecaut-Steiner', 'logoUrl': 'https://www.immoscout
24.ch/resources/memberlogos/L356353-R.jpg', 'nameFormatted': 'Verena Pecaut-Stei
ner', 'webUrl': 'http://www.avendre.ch'}

关于python scrapy - 从 <table> 中提取数据 - 没有 id 标签，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/48630681/

26 4 0

文章推荐： .net - 可以在 Visual Studio C++ 2008 中制作一个不使用 .NET 框架的程序吗？

文章推荐： javascript - 无需按下鼠标即可拖动项目

文章推荐： c++ - 在函数调用c++中连接字符串

文章推荐： javascript - 当满足条件时，从多个下拉列表中进行选择更新

• javascript - 我需要将文本放在一个 中，它位于一个 Div 中，该 Div 位于另一个 Div 中，该 Div 位于另一个 Div 中

  我需要将文本放在 中在一个 Div 中，在另一个 Div 中，在另一个 Div 中。所以这是它的样子: #document Change PIN

• html - 两个背景图像。一个在 HTML 中，一个在 BODY 中。在 Firefox 中，主体图像未呈现

  奇怪的事情发生了。 我有一个基本的 html 代码。 html，头部， body 。(因为我收到了一些反对票，这里是完整的代码) 这是我的CSS: html { backgroun

• ios - 将图像从 asset.xcassets 加载到 imageArray 中，并将其动态加载到 UIImageView 中，该 UIImageView 存在于 UICollectionView 中 - swift

  我正在尝试将 Assets 中的一组图像加载到 UICollectionview 中存在的 ImageView 中，但每当我运行应用程序时它都会显示错误。而且也没有显示图像。 我在ViewDidLoa

• linux - 在 BASH 中，我需要根据 perl 脚本的输出更改一些环境变量。在 tcsh 中，我可以使用别名 eval 组合。不能在 bash 中

  我需要根据带参数的 perl 脚本的输出更改一些环境变量。在 tcsh 中，我可以使用别名命令来评估 perl 脚本的输出。 tcsh: alias setsdk 'eval `/localhome/

• asp.net - Windows 身份验证适用于 IIS，但不适用于 Kestrel/Microsoft.AspNetCore.Authentication.Negotiate(不在 Chrome 中，有时在 Edge 中，始终在 IE 中)？

  我使用 Windows 身份验证创建了一个新的 Blazor(服务器端)应用程序，并使用 IIS Express 运行它。它将显示一条消息“Hello Domain\User!”来自右上方的以下 Ra

• java - java 中 Kotlin 中 的等价物是什么？

  这是我的方法 void login(Event event);我想知道 Kotlin 中应该如何 最佳答案 在 Kotlin 中通配符运算符是 * 。它指示编译器它是未知的，但一旦知道，就不会有其他类

• express - 在 Jade 中，为什么有时我可以按原样使用变量而有时必须将它们包含在#{......} 中？

  看下面的代码 for story in book if story.title.length < 140 - var story

• c - C 中 strstr() 中 for 循环的错误使用

  我正在尝试用 C 语言学习字符串处理。我写了一个程序，它存储了一些音乐轨道，并帮助用户检查他/她想到的歌曲是否存在于存储的轨道中。这是通过要求用户输入一串字符来完成的。然后程序使用 strstr()

• c - * 在 sscanf 中，* 在 [] 中

  我正在学习 sscanf 并遇到如下格式字符串: sscanf("%[^:]:%[^*=]%*[*=]%n",a,b,&c); 我理解 %[^:] 部分意味着扫描直到遇到 ':' 并将其分配给 a。:

• python - 在 Python (2.7.3) 中，如果 str(x) 中的任何字符在 str(y) 中(或 str(y) 在 str(x) 中)，我如何编写一个函数来回答？

  def char_check(x,y): if (str(x) in y or x.find(y) > -1) or (str(y) in x or y.find(x) > -1):

• ansible - 在 Ansible 中，如何将一行移动到一个 block 中？

  我有一种情况，我想将文本文件中的现有行包含到一个新 block 中。 line 1 line 2 line in block line 3 line 4 应该变成 line 1 line 2 line

• Django 调试工具栏显示在根 URL 中，但不显示在应用程序 URL 中

  我有一个新项目，我正在尝试设置 Django 调试工具栏。首先，我尝试了快速设置，它只涉及将 'debug_toolbar' 添加到我的已安装应用程序列表中。有了这个，当我转到我的根 URL 时，调试

• r - 在 R 中，Matlab 中 @ 函数句柄的等价物是什么？

  在 Matlab 中，如果我有一个函数 f，例如签名是 f(a,b,c)，我可以创建一个只有一个变量 b 的函数，它将使用固定的 a=a1 和 c=c1 调用 f: g = @(b) f(a1, b,

• swiftui - SwiftUI 中 ScrollView 中 VStack 元素中的神秘间距或填充

  我不明白为什么 ForEach 中的元素之间有多余的垂直间距在 VStack 里面在 ScrollView 里面使用 GeometryReader 时渲染自定义水平分隔线。 Scrol

• cookies - 什么应该存储在 session 中，什么应该存储在 cookie 中？

  我想知道，是否有关于何时使用 session 和 cookie 的指南或最佳实践？ 什么应该和什么不应该存储在其中？谢谢! 最佳答案 这些文档很好地了解了 session cookie 的安全问题以及

• python - Python 中 matplotlib 中 3d 直方图的奇怪行为

  我在 scipy/numpy 中有一个 Nx3 矩阵，我想用它制作一个 3 维条形图，其中 X 轴和 Y 轴由矩阵的第一列和第二列的值、高度确定每个条形的 是矩阵中的第三列，条形的数量由 N 确定。

• c - c 中 sem_init(...) 中 value 参数的不同用法

  假设我用两种不同的方式初始化信号量 sem_init(&randomsem,0,1) sem_init(&randomsem,0,0) 现在， sem_wait(&randomsem) 在这两种情况下

• c - 实际值存储在 pstr 中，但是该值如何存储在数组 "WORD"中

  我怀疑该值如何存储在“WORD”中，因为 PStr 包含实际输出。？ 既然Pstr中存储的是小写到大写的字母，那么在printf中如何将其给出为“WORD”。有人可以吗？解释一下？ #include

• javascript - 数组索引选择像在 numpy 中，但在 javascript 中

  我有一个 3x3 数组: var my_array = [[0,1,2], [3,4,5], [6,7,8]]; 并想获得它的第一个 2

• javascript - 在 Javascript 中，如何检测浏览器窗口何时在 View 中？

  我意识到您可以使用如下方式轻松检查焦点: var hasFocus = true; $(window).blur(function(){ hasFocus = false; }); $(win

太空宇宙

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

• android - 多次调用 OnPrimaryClipChangedListener
• android - 无法更新 RecyclerView 中的 TextView 字段
• android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
• android - 使用 AppCompat 时，我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色

滴滴打车优惠券免费领取

全站热门文章

• Surfacepro11二合一平板参数调研
• 一文搞懂ARM64系列:PACISB
• DDCA——大缓存、虚拟内存：多核缓存、NUCA缓存、页表等
• Python如何根据给定模型计算权值
• 开源-Ideal库-常用枚举扩展方法（一）
• Exadata系列之配置利器OECA
• Quartz集群增强版_01.集群及缺火处理(ClusterMisfireHandler)
• 痞子衡嵌入式：关于恩智浦SDK2.0里事务型中断处理函数(DriverIRQHandler)的重定向注意事项
• .NET周刊【11月第2期2024-11-10】
• AI千恋万花（java调用api实现）附完整项目及注释）重置版）

Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com