html - 这个html页面有什么问题？-6ren

html - 这个html页面有什么问题？

转载作者：可可西里更新时间：2023-11-01 13:03:12

24

4

我想将特定页面转换为文本文件或使用 wget(例如 -m)下载其中的一些链接，但是大多数工具都无法解释来源。

例如:

$ curl http://www.free-energy-info.co.uk/ | html2text
curl: (23) Failed writing body (0 != 2896)

但是使用-check 正确返回源代码:

$ html2text -check http://www.free-energy-info.co.uk/
<HTML>
<HEAD>
<TITLE>
...

然后我发现这个页面包含一些二进制数据和特殊字符，例如:

$ curl -s http://www.free-energy-info.co.uk/ | head | cat -v
M-^?M-~<^@h^@t^@m^@l^@>^@
^@
^@<^@h^@e^@a^@d^@>^@
^@
^@<^@T^@I^@T^@L^@E^@>^@F^@r^@e^@e^@-^@E^@n^@e^@r^@g^@y^@ ^@D^@e^@v^@i^@c^@e^@s^@,^@ ^@z^@e^@r^@o^@-^@p^@o^@i^@n^@t^@ ^@e^@n^@e^@r^@g^@y^@,^@ ^@a^@n^@d^@ ^@w^@a^@t^@e^@r^@ ^@a^@s^@ ^@H^@H^@O^@ ^@f^@u^@e^@l^@<^@/^@T^@I^@T^@L^@E^@>^@

这个网站有什么问题？是网络服务器的错误，源代码被故意打乱，还是使用了某种特殊格式(因为它看起来没有压缩)？如何使标准实用程序(例如 wget)可以理解此页面？

请注意，它在网络浏览器中运行良好。

最佳答案

该页面只是UTF-16LE 格式(这可以通过W3 Validator 来检查)。

初始二进制序列(UTF-16BE 为U+FEFF，UTF-16LE 为U+FFFE)称为the byte order mark (BOM) 向程序发出信号，表明文本是 Unicode 编码的(8 位、16 位或 32 位)。

$ curl -s http://www.free-energy-info.co.uk/ | hexdump -n2
0000000 ff fe

所以听起来 wget 或 html2text 还不支持这种格式。它下载，但问题在于内容解析(递归下载)。当前版本的 wget 假定输入数据可用于传统的 C 字符串函数，但 UTF-16 (Unicode) 不能用于它(参见:The input byte stream)。

至于解决方法，您可以使用 iconv 命令将源代码转换回 UTF-8，例如

$ curl -s http://www.free-energy-info.co.uk/ | iconv -f "UTF-16" -t "UTF-8" | head | cat -v
<html>
<head>
<TITLE>Free-Energy Devices, zero-point energy, and water as HHO fuel</TITLE>
<META NAME="Description" CONTENT="magnet power, free energy devices, power from aerials, gravity power, water power, renewable energy and electronics tutorial.">

因此，使用 curl 将页面保存为 UTF-8 的语法可以是:

curl -s http://example.com/ | iconv -f "UTF-16" -t "UTF-8" > index.html

然后让html2text工作，从标准输入读取源代码，例如

iconv -f "UTF-16" -t "UTF-8" <(curl -s http://www.free-energy-info.co.uk/) | html2text

对于 wget，您可以指定 --remote-encoding，但这还不受支持，并且失败:

This version does not have support for IRIs

^{在 GNU Wget 1.16.3 中测试。}

我已经在 #47689 报告了这个错误, 其中Tim Ruehsen表示他已将 UTF-16 编码的 HTML 页面的解析支持提交到 wget 的下一个版本 2，但它仍然需要一些工作(例如 -k 仍然不起作用)。

测试新版本后，尝试:

wget -r --local-encoding=UTF-16LE --input-file index.html --force-html --base http://www.free-energy-info.co.uk

根据 Tim 的建议.

^{注意:如果您的 wget 是使用调试支持编译的，请添加 -d。}

关于html - 这个html页面有什么问题？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/36605946/

24

4

0

文章推荐： php - Laravel Response::json() 带数字检查

文章推荐： javascript - CKEDITOR 在第一次提交时不通过 ajax 提交数据

文章推荐： Javascript 确认，捕获用户选择

问题
关闭。这个问题是off-topic .它目前不接受答案。想要改进这个问题？ Update the question所以它是on-topic用于堆栈溢出。关闭 12 年前。 Improve thi
问题
我有一个动态网格，其中的数据功能需要正常工作，这样我才能逐步复制网格中的数据。假设在第 5 行中，我输入 10，则从第 6 行开始的后续行应从 11 开始读取，依此类推。如果我转到空白的第一行并输入
问题
我有一个关于我的按钮消失的问题我已经把一个图像作为我的按钮用这个函数动画 function example_animate(px) { $('#cont
php - 将现有帐户链接到 Facebook - 问题/问题
我有一个具有 Facebook 连接和经典用户名/密码登录的网站。目前，如果用户单击 facebook_connect 按钮，系统即可运行。但是，我想将现有帐户链接到 facebook，因为用户可以选
iOS map View 问题/问题
我有一个正在为 iOS 开发的应用程序，该应用程序执行以下操作加载和设置注释并启动核心定位和缩放到位置。 map 上有很多注释，从数据加载不会花很长时间，但将它们实际渲染到 map 上需要一段时间。
ruby-on-rails - Heroku，问题/问题
我被推荐使用 Heroku for Ruby on Rails 托管，到目前为止，我认为我真的会喜欢它。只是想知道是否有人可以帮助我找出问题所在。我按照那里的说明在该网站上创建应用程序，创建并提交
Android WebView setCertificate 问题 SSL 问题
我看过很多关于 SSL 错误的帖子和信息，我自己也偶然发现了一个。我正在尝试使用 GlobalSign CA BE 证书通过 Android WebView 访问网页，但出现了不可信错误。对于大多
c++ - Glew 问题， Unresolved external 问题
我想开始使用 OpenGL 3+ 和 4，但我在使用 Glew 时遇到了问题。我试图将 glew32.lib 包含在附加依赖项中，并且我已将库和 .dll 移动到主文件夹中，因此不应该有任何路径问题。
问题？
我已经盯着这两个下载页面的源代码看了一段时间，但我似乎找不到问题。我有两个下载页面，一个 javascript 可以工作，一个没有。工作:http://justupload.it/v/lfd7不是
jquery - 初级 jQuery 问题(FF/IE 问题)
我一直在使用 jQuery，只是尝试在单击链接时替换文本字段以及隐藏/显示内容项。它似乎在 IE 中工作得很好，但我似乎无法让它在 FF 中工作。我的 jQuery: $(function() {
Android ndk 问题 socket 和 std 问题
我正在尝试为 NDK 编译套接字库，但出现以下两个错误: error: 'close' was not declared in this scope 和 error: 'min' is not a m
java - Selenium 问题 : Select. deselectAll() 导致 iframe 问题
我正在使用 Selenium 浏览器自动化框架测试网站。在测试过程中，我切换到特定的框架，我们将其称为“frame_1”。后来，我在 Select 类中使用了 deselectAll() 方法。不久之
连接到 Heroku PostgreSQL 的 Python 问题 - SSL 问题
我正在尝试通过 Python 创建到 Heroku PostgreSQL 数据库的连接。我将 Windows10 与 Python 3.6.8 和 PostgreSQL 9.6 一起使用。我从“ht
python - 在 Pandas 中创建新列的 np.where() 问题(可能是 NaN 问题？)
我有一个包含 2 列的数据框，我想根据两列之间的比较创建第三列。所以逻辑是:第 1 列 val = 3，第 2 列 val = 4，因此新列值什么都没有第 1 列 val = 3，第 2 列 va
css - 如何调试 iphone 5 中的 css 问题(ui 问题)？
我想知道如何调试 iphone 5 中的 css 问题。我尝试使用 firelite 插件。但是从纵向旋转到横向时，火石占据了整个屏幕。有没有其他方法可以调试 iphone 5 中的 css 问题
CSS 问题，input[id]+label，:hover, 和 :checked 问题
所以我有点难以理解为什么这不起作用。我正在尝试替换我正在处理的示例站点上的类别复选框。我试图让它做以下事情:未选中时以一种方式出现，悬停时以另一种方式出现(选中或未选中)选中时以第三种方式出现(而不是
javascript - 1 javascript/css 问题 2 perl cgi 问题
Javascript CSS 问题: 我正在使用一个文本框来写入一个 div。我使用以下 javascript 获取文本框来执行此操作: function process_input(){
algorithm - NP 中的语言(问题)和 P 中的语言(问题)之间的多项式时间减少
你好，我很难理解 P、NP 和多项式时间缩减的主题。我试过在网上搜索它并问过我的一些 friend ，但我没有得到任何好的答案。我想问一个关于这个话题的一般性问题: 设 A,B 为 P 中的语言(或
python-3.x - 该算法(解决 leetcode 问题 650)(问题 2)的时间复杂度是多少？
你好，我一直在研究 https://leetcode.com/problems/2-keys-keyboard/并想到了这个动态规划问题。您从空白页上的“A”开始，完成后得到一个数字 n，页面上应该
ios - Xcode Server Bot 问题 : warning. 生成服务错误。问题:路径 'some/path' 的存档格式不正确
我正在使用 Cocoapods 和 KIF 在 Xcode 服务器上运行持续集成。我已经成功地为一个项目设置了它来报告每次提交。我现在正在使用第二个项目并收到错误: Bot Issue: warnin

首页

博学

6Ren·AI

商城

html - 这个html页面有什么问题？