python - 如何使用 xpath 中具有标签信息的变量来提取

Question

我正在编写一个 scrapy 代码，它采用 url、从 csv 文件存储要抓取的数据的标签。我将该标签分配给一个临时变量，例如 z(having h1)、av(having title)、an(having td) 等。当我在 xpath 中使用该变量时，它不会从该标签中提取任何内容。谁能帮我？

import pandas as pd
import requests
from scrapy.http import TextResponse

x=pd.read_csv(r'C:\Users\ndewan\Desktop\pattern-swage.csv', encoding="utf-8")
x=x.replace('<','',regex=True).replace('>','',regex=True)

url=str(x.iloc[0,0]) 
r = requests.get(url)
response = TextResponse(r.url, body=r.text, encoding='utf-8')
z=x.iloc[0,1]
s=x.iloc[0,2]
an=x.iloc[0,3]
av=x.iloc[0,4]
part=response.xpath('//av//text()').extract()
print(part)
print(url)
print(z)

Answer 1

由于您使用的是变量，因此您应该用 $ 表示它们，并将它们的值作为关键字参数 per the docs 提供。 .

part=response.xpath('//$av//text()', av = av).extract()

或者，如果您愿意，也可以使用字符串格式。

part=response.xpath(f'//{av}//text()').extract()