个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
24
4
我一直在尝试使用 Java 从网站获取字符串。这是我的代码:
protected String doInBackground(String... urls) {
try {
gotten_next_date = Jsoup.connect("https://www.vividseats.com/nba-basketball/toronto-raptors-schedule.html")
.get().getElementsByClass("productionsDate").first().text();
full_next = gotten_next_date;
return full_next;
} catch (IOException e) {
return "Unable to retrieve data. URL may be invalid.";
}
我昨天写了这个，它运行得很好，但是当我今天尝试时，由于某种原因，它给了我这个错误:
java.lang.NullPointerException: Attempt to invoke virtual method 'java.lang.String org.jsoup.nodes.Element.text()' on a null object reference
我不明白为什么会发生这种情况。有人可以帮忙吗？
编辑:我相信错误不是因为创建变量而发生，而是因为没有从网站接收元素。我认为这个问题被错误地标记为重复。
最佳答案
你所做的应该很好。我运行过一次，但后来就停止工作了。
问题是该网站有一个反抓取机制，如果您在其网站上发出太多请求，该机制会阻止您。
我建议你做的是:
userAgent() 以便将自己标识为机器人抓取工具。顺便说一下，如果你想调试正在发生的事情，我的做法就是将 Jsoup 调用更改为:
String gotten_next_date =
Jsoup.connect("https://www.vividseats.com/nba-basketball/toronto-raptors-schedule.html").get().html();
这将返回所请求页面的 html，如果您查看的话，没有任何有趣的内容。
<!doctype html>
<html>
<head>
<meta NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
<meta http-equiv="cache-control" content="max-age=0">
<meta http-equiv="cache-control" content="no-cache">
<meta http-equiv="expires" content="0">
<meta http-equiv="expires" content="Tue, 01 Jan 1980 1:00:00 GMT">
<meta http-equiv="pragma" content="no-cache">
<meta http-equiv="refresh" content="10; url=/distil_r_captcha.html?requestId=291c6193-eb12-4e96-b1cd-23ba9a75e659&httpReferrer=%2Fnba-basketball%2Ftoronto-raptors-schedule.html">
<script type="text/javascript">
(function(window){
try {
if (typeof sessionStorage !== 'undefined'){
sessionStorage.setItem('distil_referrer', document.referrer);
}
} catch (e){}
})(window);
</script>
<script type="text/javascript" src="/vvdstsdstl.js" defer></script>
<style type="text/css">#d__fFH{position:absolute;top:-5000px;left:-5000px}#d__fF{font-family:serif;font-size:200px;visibility:hidden}#twsyxyabbqdwrxzyzxesxywvwuzbszeeacwd{display:none!important}</style>
<script>var w=window;if(w.performance||w.mozPerformance||w.msPerformance||w.webkitPerformance){var d=document;AKSB=w.AKSB||{},AKSB.q=AKSB.q||[],AKSB.mark=AKSB.mark||function(e,_){AKSB.q.push(["mark",e,_||(new Date).getTime()])},AKSB.measure=AKSB.measure||function(e,_,t){AKSB.q.push(["measure",e,_,t||(new Date).getTime()])},AKSB.done=AKSB.done||function(e){AKSB.q.push(["done",e])},AKSB.mark("firstbyte",(new Date).getTime()),AKSB.prof={custid:"632139",ustr:"",originlat:"0",clientrtt:"124",ghostip:"72.247.179.76",ipv6:false,pct:"10",clientip:"79.119.120.57",requestid:"418cf776",region:"26128",protocol:"",blver:14,akM:"b",akN:"ae",akTT:"O",akTX:"1",akTI:"418cf776",ai:"275708",ra:"false",pmgn:"",pmgi:"",pmp:"",qc:""},function(e){var _=d.createElement("script");_.async="async",_.src=e;var t=d.getElementsByTagName("script"),t=t[t.length-1];t.parentNode.insertBefore(_,t)}(("https:"===d.location.protocol?"https:":"http:")+"//ds-aksb-a.akamaihd.net/aksb.min.js")}</script>
</head>
<body>
<div id="distilIdentificationBlock">
</div>
</body>
更新:(来自zack6849)如果您仔细查看 head 标记内部，最后一个 meta 标记会提示您将被重定向到验证码页面:
<meta http-equiv="refresh" content="10; url=/distil_r_captcha.html?requestId=291c6193-eb12-4e96-b1cd-23ba9a75e659&httpReferrer=%2Fnba-basketball%2Ftoronto-raptors-schedule.html">
如果您还搜索一下 html 中的 distilIdentificationBlock，您会发现它与抓取工具被阻止有关。
希望它可以帮助您更好地了解正在发生的事情。
关于java - 空对象引用上的“java.lang.String org.jsoup.nodes.Element.text()”，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/54726373/
24
4
0
我用运行 Node node --debug app OR node --debug-brk app 它有反应 debugger listening on port 5858 Express serv
这个问题在这里已经有了答案: What is the difference between (int *i) and (int* i) in context of both C and C++? [
我有一个应用程序，它通过消息队列将数据库写入命令分派(dispatch)给工作人员(数量非常大)，因此无法保证它们的接收顺序。 我有两个 Node ，例如“Account”和“Media”。在此假设的
有没有办法在调用 ts-node 时将选项传递给 Node ？我正在尝试在 Node 中使用一个实验性功能，如果它能与 ts-node 一起使用，那就太好了。 这就是我目前正在做的事情: ts-nod
我有一个容器化的Node应用程序，它在DigitalOcean服务器上运行。当我更新服务器上的应用程序时，该应用程序必须关闭一小段时间。为了能够更新应用程序并避免停机，我目前正在阅读零停机时间部署/蓝
我正在编写一个 Node.js 应用程序。我正在使用 request 和 Cheerio 加载一组 URL 并获取该网站的大量信息，现在假设我想要获取的只是标题: var urls = {"url_1
如果不弹出以下错误，我无法安装任何 Node.js 模块。错误代码引用package.json文件。如果知道为什么会发生这种情况，我们将不胜感激。 最佳答案 这些不是错误，它们只是警告。一切都应该如此
如果我运行(从我的项目目录中): supervisor javascripts/index.js 我得到:/usr/bin/env: Node :没有这样的文件或目录 如果我运行: node java
我已遵循使用 Node-Inspector 的所有步骤 但是当我打开应用程序时，我在控制台上看不到任何脚本或日志。 我的应用程序在端口 4000 上运行。我认为唯一可能发生冲突的是端口 8080 上的
我在android中使用rxjava2，有时会遇到这样的问题: Observable.fromArray( // maybe a list about photo url in SD
我目前正在使用 Node 光纤来编写同步服务器端代码。我主要通过 try-catch block 进行错误处理，但外部库或其他小部分异步代码中总是有可能发生错误。我正在考虑使用新的域功能来尝试将这些错
看起来node-debug是node-inspector周围的一个shell？分别什么时候应该使用？ 最佳答案 如果您安装node-debug，您只能访问node-debug命令。 如果您安装node
我目前正在代理后面工作，该代理不允许我执行此命令的 HTTP GET 请求阶段: Node node-sass/scripts/build.js 请求阶段: gyp http GET https://
听说node js可以用在服务端。我以前用过jsp。 jsp页面内部的java代码对客户端是不可见的。如果 Node js 只是 javascript，那么它如何对客户端不可见？ 最佳答案 首先，No
我正在为 Node native 插件从 node-waf 构建迁移到 node-gyp 构建系统。 node-gyp 说它支持多个目标版本，但我在使用 node-gyp 时找不到如何指定目标 Nod
给定一个 $node ，我正在尝试在以下两种输出该 $node 的方式之间做出决定。 要么 $output = theme('node', $node); 或 node_build_content($
如果package.json中的窗口A打开一个新窗口B，node-main如何访问它？这是我的代码: package.json { "main": "index.html",
我试图在我的 xml 中的特定节点 ( ) 之前插入一个注释节点。这是它的方法: function test(xmlResponse) { var parser = new DOMParse
我正在尝试做npm install wrtc使用 Node 版本 16.14.0 但这还没有完成。它在给npm error code 1所以我试图将 Node 版本更改为以前的 lts 14.19.0
当我在 Visual Studio 中运行 Node.js 应用程序时，我收到以下消息:DeprecationWarning: 'node --debug' 和 'node --debug-brk'
我是一名优秀的程序员,十分优秀！