python - PyQuery Python 不支持 for 循环

Question

我正在尝试编写一个程序，从 .txt 文件的每一行中提取 url，并执行 PyQuery 以从 LyricsWiki 中抓取歌词数据，在我实际将 PyQuery 内容放入之前，一切似乎都工作正常。例如，当我这样做时:

full_lyrics = ""        
#open up the input file
links = open('links.txt')

for line in links:
    full_lyrics += line

print(full_lyrics)
links.close()

它按预期打印出所有内容，一个包含所有数据的大字符串。然而，当我实现实际的 html 解析时，它只从最后一个 url 中提取歌词并跳过所有前面的歌词。

import requests, re, sqlite3
from pyquery import PyQuery
from collections import Counter

full_lyrics = ""        
#open up the input file
links = open('links.txt')
output = open('web.txt', 'w')
output.truncate()

for line in links:
    r = requests.get(line)
    #create the PyQuery object and parse text
    results = PyQuery(r.text)
    results = results('div.lyricbox').remove('script').text()
    full_lyrics += (results + " ")

output.write(full_lyrics)
links.close()
output.close()

我写入 txt 文件以避免 Powershell 出现编码问题。无论如何，当我运行程序并打开txt文件后，它只显示links.txt文档中最后一个链接的歌词。

作为引用，“links.txt”应包含多个指向歌词维基歌曲页面的链接，如下所示: http://lyrics.wikia.com/Taylor_Swift:Shake_It_Off http://lyrics.wikia.com/Maroon_5:Animals

“web.txt”应该是空白输出文件。

为什么 pyquery 会破坏 for 循环？当它做一些更简单的事情时，例如连接文件的各个行，它显然可以工作。

Answer 1

问题是您从文件 (links.txt) 中读取的每一行中都有额外的换行符。尝试在 links.txt 中打开另一行，您会发现即使是最后一个条目也不会被处理。

我建议您在 for 之后的行变量上进行右侧删除，如下所示:

for line in links:
    line = line.rstrip()
    r = requests.get(line)
    ...

应该可以。

我还认为您不需要请求来获取 html。尝试 results = PyQuery(line) 看看它是否有效。