gpt4 book ai didi

java - JSoup 工作错误

转载 作者:行者123 更新时间:2023-11-30 07:46:05 24 4
gpt4 key购买 nike

我正在尝试解析维基百科页面。我目前同时运行 100 个Thread。问题是这样的;当我尝试解析整个页面上下文时,有时上下文已损坏或只是丢失了一些段落。我真的不明白问题出在哪里。

该项目有 2 个部分。一是查找页面中的所有 href 链接。(工作正常)。另一种是在页面中找到一个简单的文本(无法正常工作)。

Document doc = null;
try {
doc = Jsoup.connect(link).get();
} catch (Exception e) {
e.printStackTrace();
return;
}

Elements divs = doc.select("div#bodyContent");
Elements texts = divs.select("div#mw-content-text");
Elements paragraphs = texts.select("p");
//this part is working correctly(finding all links)
Elements links = paragraphs.select("a");
Elements headerContainer = doc.select("h1#firstHeading");

//this part is not working correctly.(Some parts are corrupted or even in one sentence it gets some words but others might be missing)
StringBuilder bl = new StringBuilder();
for(Element elem : paragraphs){
bl.append(Jsoup.parse(elem.html()).text());
}
String p = bl.toString();

编辑1:https://tr.wikipedia.org/wiki/%C4%B0spanya示例链接就是这个。

此页面的上下文是:
西类牙的Portekizce konuşan gruplar bulunmaktadır.Tatil sezonu başladığında Almanya'dan,Polonya'dan ve birçok Güney Amerika ülkesinden özellikle tatil yörelerine çalışmaya gelen birçok kişi bulunur。科斯塔布兰卡 (Costa Blanca) 是太阳海岸 (Costa del Sol) 的旅游胜地,阿尔曼 (Alman) 和我的语言是这样的。西类牙人在西类牙的土地上有很多东西,但在西类牙,你可以在西类牙的土地上使用 Fransızca bilmektedirler。 Ancak halkın %96'si resmi olarak Katolik'tir。 2002 年,社会学研究中心在 2002 年成立了 80% 的社会学研究中心。 %12'lik kesimin ise herhangi bir dine mensup olmadığı ortaya çıkmıştır. Katoliklerin de %54'unün çok az kiliseye gittiği veya hiç gitmediği bulunmuştur。 Diğer katoliklerin de %15'i ara sıra, 10%'u ayda birkaç kez, 19%'u ise her pazar kiliseye gittğini belirtmiştir. Tüm ISPanyol halkının %22'si ise en az ayda bir dini görevlerini yerine getirdiğini belirtmiştir.Katolik Kilisesi Papalıkla yapılan bir anlaşmadan dolayı íspanya hükûmeti tarafından desteklenen bir kilishedir.西类牙卡托利克·基利塞西 (Katolik Kilisesi) 位于南拉丹 (Toplananyard) 的顶部,并在顶部放置了卡马德 (Kalmadığından),并将其放置在顶部。 Hıristiyanların en çok ziyaret ettiği yerlerden biri olan Santiago de Compostela da Áspanya'da bulunmaktadır.Nüfusun %2.5'ini Islam, %1'den daha az kısmını ise Yahudi dinine mensup kişiler oluşturmaktadır.Madrid Bars elonaKonuyla ilgili diğer Wikimedia sayfaları :Commons'ta ïspanya ile ilgili çoklu ortam dosyaları bulunmaktadır.Vikisöz'de ïspanya ile ilgili alıntılar bulunmaktadır.

最佳答案

也许是因为 Jsoup 具有默认的响应大小。尝试将您的 maxBodySize 设置为更大的数字。

例如,Connection.Reponse 响应 = Jsoup.connect(url)
.maxBodySize(5000000)
.execute()//以字节为单位

关于java - JSoup 工作错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33947608/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com