个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
26
4
我对 JSoup 库的编码行为有一些疑问。
我想解析网页的内容，因此我必须插入一些人名，其中还可以包含德语变音符号如 ä、ö 等。
这是我使用的代码:
doc = Jsoup.parse(new URL(searchURL).openStream(), "UTF-8", searchURL);
解析resp的html。网页。
但是当我查看文档时，ä 显示如下:
凯瑟
我在编码方面做错了什么？
该网页具有以下 header :
<!doctype html>
<html>
<head lang="en">
<title>Käse - Semantic Scholar</title>
<meta charset="utf-8">
</html>
有人帮忙吗？谢谢 :)
编辑:我尝试了 Stephans 的回答，它适用于网页 www.semanticscholar.org，但我也在解析另一个网页， http://www.authormapper.com/
如果作者的名字包含德语变音符号，则相同的代码不适用于此网页。有谁知道为什么这不起作用？不知道这个很尴尬....
最佳答案
这是 Jsoup 的已知问题。以下是加载 Jsoup 内容的两个选项:
选项 1:仅限 JDK
InputStream is = null;
try {
// Connect to website
URL tmp = new URL(url);
HttpURLConnection connection = (HttpURLConnection) tmp.openConnection();
connection.setReadTimeout(10000);
connection.setConnectTimeout(10000);
connection.setRequestMethod("GET");
connection.connect();
// Load content for Jsoup
is = connection.getInputStream(); // We suppose connection.getResponseCode() == 200
int n;
char[] buffer = new char[4096];
Reader r = new InputStreamReader(is, "UTF-8");
Writer w = new StringBuilderWriter();
while (-1 != (n = r.read(buffer))) {
w.write(buffer, 0, n);
}
// Parse html
String html = w.toString();
Document doc = Jsoup.parse(html, searchURL);
} catch(IOException e) {
// Handle exception ...
} finally {
try {
if (is != null) {
is.close();
}
} catch (final IOException ioe) {
// ignore
}
}
选项 2:使用 Commons IO
InputStream is = null;
try {
// Connect to website
URL tmp = new URL(url);
HttpURLConnection connection = (HttpURLConnection) tmp.openConnection();
connection.setReadTimeout(10000);
connection.setConnectTimeout(10000);
connection.setRequestMethod("GET");
connection.connect();
// Load content for Jsoup
is = connection.getInputStream(); // We suppose connection.getResponseCode() == 200
String html = IOUtils.toString(is, "UTF-8")
// Parse html
Document doc = Jsoup.parse(html, searchURL);
} catch(IOException e) {
// Handle exception ...
} finally {
IOUtils.closeQuietly(is);
}
最后的想法:
- Never rely on website encoding if you didn't check manually (when possible) the real encoding in use.
- Never rely on Jsoup to find somehow the right encoding.
- You can [automate encoding guessing][2]. See the previous link for details.
关于java - Jsoup 中 umlaute 的编码具有奇怪的行为，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/38041415/
26
4
0
我想创建一个基于 jQuery 的非常简单的 html 编辑器(不是所见即所得)。 我的问题是如何制作 textarea或 div可能 在上面写一些文字 然后样式即标签(例如 some stuff 将
根据文档 isset 条款“测试此项目中是否已设置给定属性”。我不明白设置属性时 isset 返回 true 还是 false 在下面的代码片段中，当 env.JAVA_HOME 未设置时，java.
我正在尝试取消映射 o这是执行 :only 的默认命令( :help :only )，所以我尝试的第一件事是: nmap o 这种作品，除非我按 ，等待超过timeoutlen ms 然后按 o
我有以下型号: class MetaData(models.Model): created_at = models.DateTimeField(auto_now_add=True, auto_
下面列出了两行代码。两者对日期和时间的期望相同，但只有一个有效。我正在使用 R 3.1。 以下不起作用: DateTime2=strftime("08/13/2010 05:26:24.350", f
我有一个关于 C 代码的问题。 #include void foo(void){ int a; printf("%d\n",a); } void bar(void){
如果文件大小 > 8k，为什么读取的最后一个字节 = 0？ private static final int GAP_SIZE = 8 * 1024; public static void main(
我有一个命令 Get-Testdata从不同来源检索测试数据并将这些数据存储到 PSObject以不同的值作为属性。然后将对象总数存储为数组，以便于操作、排序、计算等。 我的问题是我希望能够将这些数据
我正在使用 epoll 将大消息写入使用 HTTP 协议(protocol)的服务器。 fds 都设置为非阻塞，我正在使用边缘触发事件。我知道对于 EPOLLIN，我需要循环读取 fd，直到返回 EA
这对我来说听起来很奇怪: $test_1 = 'string'; $test_2 = '0'; var_dump(intval($test_1)); // Output: int 0 var_dump
这个问题在这里已经有了答案: Java: Integer equals vs. == (7 个回答) 7年前关闭。 请您解释以下行为。 public class EqAndRef { publ
Drupal 的行为到底是什么？ 它为模块开发人员提供什么类型的服务层？ 它映射到 jQuery.ready 的关系类型是什么？ 最佳答案 长版:Drupal.behaviors 不仅仅是 jQuer
以下代码: dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_HIGH, 0), ^{ for (int i=0
人们可以将项目添加到数据库中。我让他们选择在此时添加它，或手动选择日期。 因此我得到了这个 HTML 结构。 (请注意，我将日期和时间选择器妥协为只有一行文本) Selec
创建了一个数据框: simpleDF is.na(simpleDF$vals) [1] TRUE TRUE FALSE > is.nan(simpleDF$vals) [1] FALSE TRU
我有一个大的 docker 镜像 A，我创建了一个新的 Dockerfile FROM A RUN rm /big-folder 我尝试使用以下方法构建图像: docker build --squas
我想知道以下情况下 JVM 的行为是什么: JVM 最小堆大小 = 500MB JVM 最大堆大小 = 2GB 操作系统有 1GB 内存 JVM启动后，程序运行一段时间后，使用内存超过1GB。我想知道
我们正在使用 spikeearrest 策略，但我们不了解其工作原理。峰值逮捕配置如下: 5pm 阅读文档，我们了解到，如果我们在一分钟内调用此流超过 5 次，则该策略将在第 5 次之后
我正在使用 cURL 发送 POST 请求: curl http://tarvos.local:8080/partial_Users/2 -d '{currentPage : 1, firstID :
我的表中有 6442670 条记录，我正在使用以下命令获取它们jdbctemplate 使用行号一次 1000000 个。以下是查询 select * from (select rowNum rn
我是一名优秀的程序员,十分优秀！