javascript - 如何在显示主要内容之前抓取运行 Javascript 且带有 cookie 检查的网页-6ren

javascript - 如何在显示主要内容之前抓取运行 Javascript 且带有 cookie 检查的网页

转载作者：行者123 更新时间：2023-11-30 07:41:00

25

4

我正在尝试抓取并解析以下 RSS 提要: http://english.alarabiya.net/.mrss/en/sports.xml

当我在浏览器中打开它时，它会提供我想要解析的普通 RSS 提要。但是当我在 Java 中下载它时，它会显示以下内容:

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<meta http-equiv="Content-Script-Type" content="text/javascript">
<script type="text/javascript">
function getCookie(c_name) { // Local function for getting a cookie value
    if (document.cookie.length > 0) {
        c_start = document.cookie.indexOf(c_name + "=");
        if (c_start!=-1) {
        c_start=c_start + c_name.length + 1;
        c_end=document.cookie.indexOf(";", c_start);

        if (c_end==-1) 
            c_end = document.cookie.length;

        return unescape(document.cookie.substring(c_start,c_end));
        }
    }
    return "";
}
function setCookie(c_name, value, expiredays) { // Local function for setting a value of a cookie
    var exdate = new Date();
    exdate.setDate(exdate.getDate()+expiredays);
    document.cookie = c_name + "=" + escape(value) + ((expiredays==null) ? "" : ";expires=" + exdate.toGMTString()) + ";path=/";
}
function getHostUri() {
    var loc = document.location;
    return loc.toString();
}
setCookie('YPF8827340282Jdskjhfiw_928937459182JAX666', '105.183.123.12', 10);
try {  
    location.reload(true);  
} catch (err1) {  
    try {  
        location.reload();  
    } catch (err2) {  
        location.href = getHostUri();  
    }  
}
</script>
</head>
<body>
<noscript>This site requires JavaScript and Cookies to be enabled. Please change your browser settings or upgrade your browser.</noscript>
</body>
</html>

我正在使用简单的流读取，这是我的代码:

     try {
            URL url = new URL("http://english.alarabiya.net/.mrss/en/sports.xml");
            BufferedReader in = new BufferedReader(
                    new InputStreamReader(url.openStream()));

            String inputLine;
            while ((inputLine = in.readLine()) != null)
                System.out.println(inputLine);
            in.close();
        } catch (MalformedURLException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }

有谁知道如何解析主要的 RSS 内容并使用 cookie 绕过 Javascript 部分吗？或者有什么想法吗？

P.S.:我正在使用 Rome 库来抓取 RSS 提要，但我认为问题超出了其范围。

最佳答案

尝试HtmlUnit库并使用 setJavascriptEnabled(true) 那里

您的问题与 this 类似一个

关于javascript - 如何在显示主要内容之前抓取运行 Javascript 且带有 cookie 检查的网页，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/34699438/

25

4

0

文章推荐： java - 指示 Jacoco 和 Coveralls 忽略报告中的某些文件

文章推荐： javascript - 将日期字符串从破折号转换为正斜杠

文章推荐： java 。带参数的 Singleton 和 getInstance

javascript - 使用 jQuery 检查 radio 时，检查 radio 是否被选中不起作用
我需要根据需要动态设置文本区域，但它不想正常工作。 JQuery 会自行检查，但无法检查是否已检查。但是当您在第二个单选框内单击时，始终需要文本区域。我尝试了很多次让它工作，但它仍然有问题。我添加了“
python - Django : Fetch XML, 中的 urllib2/pycurl 检查 HTTP 状态，检查 HTTPS 连接
我需要在 Django 中进行 API 调用(某种形式)，作为我们所需的自定义身份验证系统的一部分。用户名和密码通过 SSL 发送到特定 URL(对这些参数使用 GET)，响应应该是 HTTP 200
检查#warning预处理器的可用性
我将在我的可移植 C 代码中使用 #warning 来生成编译时警告。但并非所有平台都支持 #warning。有什么方法可以找到该平台是否支持 #warning。 #ifdef warning
检查 for 语句中的条件
我编写了一个函数来检查某个数字是否存在于某个区间内。停止搜索的最佳方法是什么？这个: for (i = a; i <= b; i++) { fi = f(i); if (fi == c) {
检查 C 中的不同字符
我想知道在 c 中是否有一种方法可以检查，例如在 for 函数中，如果变量等于或不等于某些字符，而不必每次都重复进行相等性检查。如果我没记错的话，以这种方式检查相等性是不正确的: if (a == (
检查 C 中是否有可变参数
我有如下日志功能 void log_error(char * file_name, int line_num, int err_code) { printf("%s:%d:%s\n", fil
检查 SSH 私钥是否加密
使用 ssh-keygen 生成的 key 对在 macOS 上可以有不同的格式。 macOS 可读的标准 PEM ASN.1 对象 SecKey API 带有文本标题的 PEM OpenSSH ke
Excel:检查 IF 语句中的错误
我正在尝试编写一个 excel if 语句。我不熟悉使用 Excel 具有的所有额外功能。我正在使用一个名为 importXML() 的函数.我正在尝试检查我正在使用的函数是否生成“#VALUE!”错
检查 aio_write 是否完成
有没有办法检查是否没有 AIO 写入给定文件？我在我的 Unix 类(class)上制作了一个项目，该项目将是一个上下文无关(基于 UDP)的国际象棋服务器，并且所有数据都必须存储在文件中。应用程序将
java - 执行函数时避免连续的 "if (...)"检查
我有一个如下所示的函数: public Status execute() { Status status = doSomething(); if (status != Stat
php - 抑制特定文件夹或文件的错误消息/检查
我正在使用 Composer，我不希望 PhpStorm 在 vendor 文件夹上运行任何错误检查或检查，因为它对 vendor/中的某些代码显示误报composer/autoload_static
chapel - 检查/确保两个数组具有相同的域和分布的最佳方法是什么？
Chapel 的一个很好的特性是它区分了数组的域和它的分布。检查两个数组是否具有相同的域和分布(通常想要的)的最佳方法是什么？我能看到的最好的方法是检查 D1==D2和 D1.dist==D2.di
JavaScript:检查/比较所有字段的值
在我的 JavaScript 函数中，我为所有输入、文本区域和选择字段提供实际值作为 initial_value: $('input, textarea, select').each(function
PHP ErrorFlag 检查？
我正在编写一个分解为几个简单函数的 PHP 类。在构造函数中，它调用另一个名为 processFile 的函数。该函数调用 5 个私有(private)函数并进行检查。如果检查失败，它会将消息分配给
javascript - 检查 "how"链接被点击
这个问题已经有答案了: How to detect if user it trying to open a link in a new tab? (2 个回答) 已关闭 7 年前。我认为 JavaS
sql - 检查@@rowcount函数来确定行是否存在可以吗？
我正在浏览我们的代码库并看到很多这样的测试: declare @row_id int = ... declare @row_attribute string select @row_attribu
javascript - 检查 IF 语句内的函数解释
我正在声明一个用作比较的函数。我的问题是: 为什么条件充当语句？为什么第 4 行可以工作，而第 5 行却不行？我知道这段代码不切实际且未使用，但为什么编译器允许这种语法？谷歌没有找到答案。但话又
PHP - 检查/比较文本字段的输入
到目前为止，我有一个带有空文本字段的 PHP Kontaktform，并使用以下命令检查了所需的字段: $name = check_input($_POST['name'], "请输入姓名。"); 现
PHP 检查 not > 0
目前，我能想到的合理检查的唯一方法没有臃肿的逻辑: if ( $value > 0 ) { // Okay } else { // Not Okay } 有没有更好的办法？最佳答案
javascript - 检查[i]是否存在
我正在尝试运行一个脚本，如果 i 存在(意味着存在 i 值，任何值)或其他部分，我希望运行其中的一部分如果i没有值就运行，有人可以启发我吗？我说的是 for 循环，比如 for (var i=0;

首页

博学

6Ren·AI

商城

javascript - 如何在显示主要内容之前抓取运行 Javascript 且带有 cookie 检查的网页