python - 需要帮助使用祖先从 Scrapy 的列表中抓取项目

Question

我正在尝试抓取联系人、位置、电话和费率等详细信息。 html如下。该列表是动态列表，因此有时只有少数项目(例如“联系人”和“位置”)会出现在页面上，而有时会出现所有项目。我想我可以使用图标标签来获取所需的文本，但无法找到任何相关文档。任何帮助将不胜感激。提前致谢。

        <div class="detail-all-label">
        <i class="abc-Contact"></i>
        <div class="detail-all-text"><b>Contact</b>: Ram Bahadur</div>
    </div>
            <div class="detail-all-label">
    <i class="abc-font abc-Location"></i>
    <div class="detail-all-text"><b>Location</b>: Kathmandu</div>
    </div>
<div class="detail-all-label">
    <i class="abc-font abc-Website"></i>
    <div class="detail-all-text"><b>Website</b>: itworkremotely</div>
    </div>
            <div class="detail-all-label">
    <i class="abc-font abc-Phone"></i>
    <div class="detail-all-text"><b>Phone</b>: 3283550121</div>
    </div>
            <div class="detail-all-label">
    <i class="abc-font abc-Rate"></i>
    <div class="detail-all-text"><b>Rate</b>: €700 - 10000</div>
    </div>

Answer 1

您可以使用 class="detail-all-text" 获取 div 内前面有 b 元素的所有详细值>:

for detail in response.xpath("//div[@class='detail-all-text']/b"):
    name = detail.xpath("text()").extract()[0]
    value = detail.xpath("following-sibling::text()")[0]

    print name, value