python - 如何下载和阅读带有通用换行符的 URL？

Question

我正在使用 urllib.urlopen使用 Python 2.7，但我需要处理下载的 HTML 文档及其包含的换行符(在 <pre> 元素内)。

urllib docs表示 urlopen 将不使用通用换行符。我该怎么做？

Answer 1

除非 HTML 文件已经在您的磁盘上，urlopen() 将正确处理所有格式的换行符 (\n, \r\n 和 \r) 在你要解析的 HTML 文件中(即它将它们转换为 \n)，根据 urllib docs :

"If the URL does not have a scheme identifier, or if it has file: as its scheme identifier, this opens a local file (without universal newlines)"

例如

>>> from urllib import urlopen
>>> urlopen("http://****.com/win_new_lines.htm").read()
'line 1\nline 2\n\n\nline 3'
>>> urlopen("http://****.com/unix_new_lines.htm").read()   
'line 1\nline 2\n\n\nline 3'