java - jsoup 中标签内的数据丢失

Question

我正在尝试从 https://www.hackerearth.com/ 中删除数据右侧有实时事件。如果我在浏览器中看到该实时事件的源代码，那么我们可以看到全部数据。(见图)developer view in chrome

现在这是我的 jsoup 代码:

Document doc=Jsoup.connect("https://www.hackerearth.com").get();
System.out.println(doc.html());

在输出中，我们可以看到页面的所有 html，但实时事件的 div 内的所有数据都丢失了。在输出中我有空的 div 标签。

<div id="live-events-trigger-data"></div>

如图所示，您可以看到这个 div 标签中有大量数据。那么我怎样才能得到它呢？

Answer 1

如果您在网络浏览器中查看页面的源代码，您将在末尾看到原因:

<script>
$(document).ready(function (){
    $('#header-notif-icon-trigger').click();
    $('#live-events-trigger').click();
    // show kone ge widget if not visited
        $(window).load( function () {
             var hackathon_visit_cookie = readCookie('fintech_valley_hackathon_cookie');
             if (!hackathon_visit_cookie) {
                $('#custom_hackathon_widget').show();
             }
        });
        $(document).on('click', '#custom_hackathon_widget .hack-link', function(e) {
            createCookie('fintech_valley_hackathon_cookie', 'true', 180);
            $('#custom_hackathon_widget').fadeOut('slow');
        });
});
</script>

您无法使用 Jsoup 执行 JavaScript 代码。如果要执行JavaScript，请使用HTMLUnit或Selenium .