- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我目前想知道如何处理片段身份,我想从中获取信息的链接包含片段身份。似乎 HtmlUnit 丢弃了我的 url 的“#/db4mj”,因此加载了原始 url。
有谁知道处理片段身份的方法? (如果需要,我可以发布示例代码以进一步解释)
编辑
由于我没有得到很多观点(也没有答案),我将增加悬赏。抱歉它只有 50 个,但我只有 79 个开始
编辑
这是请求的示例代码。
我们的 URL 将是:http://browse.deviantart.com/resources/applications/psbrushes/?order=9&offset=0
因此,如果您查看链接中的内容,您会看到多个包含 URL 的画笔。所以我的脚本抓取了 URL:http://browse.deviantart.com/resources/applications/psbrushes/?order=9&offset=0#/dbwam4
如您所见,有片段标识符 #/dbwam4 现在我尝试抓取此页面上的内容,但 HtmlUnit 仍认为它位于原始 URL 上。
这是我的脚本中的示例代码,它在片段标识符 URL 上失败,但原始 URL 没有问题。
client = new WebClient(BrowserVersion.FIREFOX_3)
client.javaScriptEnabled = false
page = client.getPage(url) //url with fragment identifier
//this is on the url with the fragment identifier only, not the original url
img = page.getByXPath("*[@id="gmi-ResViewSizer_img"]")
最佳答案
有好消息和 坏消息 .
首先,好消息是 HtmlUnit 似乎工作得很好。
如果您访问 the page with the fragment identier URL在关闭 JavaScript 的浏览器中(可能使用 Firefox's QuickJava plugin ),您将看不到您想要的“单刷 View ”。
因此,为了获取此页面,您需要使用 WebClient 并将 setJavaScriptEnabled 设置为 true。
现在坏消息是:
我一直无法在启用 JavaScript 的情况下使用 HtmlUnit 获取“单刷 View ”页面(我不知道为什么)。虽然,我已经能够获得完整的页面。
真正的问题是返回的 HTML 的状态如此糟糕,以至于我无法解析它(我尝试过 TagSoup 、 jsoup 、 Jaxen 等)。因此,我怀疑尝试使用 XPath 解析页面可能对您不起作用。
因此,我认为您需要使用正则表达式(这远非理想),甚至使用 String.indexOf("gmi-ResViewSizer_img") 的某些变体。
我希望这有帮助。
编辑
我设法得到了一些偶尔有效的东西。恐怕我还没有转换为 Groovy,所以它将使用普通的旧 Java。
我没有看过 HtmlUnit 的源代码,但它几乎好像运行保存过程中的某些东西有助于使解析工作?如果没有保存,我似乎会得到 NullPointerExceptions。
import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.WebRequest;
import com.gargoylesoftware.htmlunit.WebResponse;
import com.gargoylesoftware.htmlunit.html.HtmlElement;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import com.gargoylesoftware.htmlunit.util.FalsifyingWebConnection;
import java.io.File;
import java.io.IOException;
public class TestProblem {
public static void main(String[] args) throws IOException {
WebClient client = new WebClient(BrowserVersion.FIREFOX_3_6);
client.setJavaScriptEnabled(true);
client.setCssEnabled(false);
String url = "http://browse.deviantart.com/resources/applications/psbrushes/?order=9&offset=0#/dbwam4";
client.setThrowExceptionOnScriptError(false);
client.setThrowExceptionOnFailingStatusCode(false);
client.setWebConnection(new FalsifyingWebConnection(client) {
@Override
public WebResponse getResponse(final WebRequest request) throws IOException {
if ("www.google-analytics.com".equals(request.getUrl().getHost())) {
return createWebResponse(request, "", "application/javascript"); // -> empty script
}
if ("d.unanimis.co.uk".equals(request.getUrl().getHost())) {
return createWebResponse(request, "", "application/javascript"); // -> empty script
}
if ("edge.quantserve.com".equals(request.getUrl().getHost())) {
return createWebResponse(request, "", "application/javascript"); // -> empty script
}
if ("b.scorecardresearch.com".equals(request.getUrl().getHost())) {
return createWebResponse(request, "", "application/javascript"); // -> empty script
}
//
if (request.getUrl().toString().startsWith("http://st.deviantart.net/css/v6core_jc.js")) {
WebResponse wr = super.getResponse(request);
return createWebResponse(request, wr.getContentAsString(), "application/javascript");
}
if (request.getUrl().toString().startsWith("http://st.deviantart.net/css/v6loggedin_jc.js")) {
WebResponse wr = super.getResponse(request);
return createWebResponse(request, wr.getContentAsString(), "application/javascript");
}
return super.getResponse(request);
}
});
HtmlPage page = client.getPage(url); //url with fragment identifier
File saveFile = new File("saved.html");
if(saveFile.exists()){
saveFile.delete();
saveFile = new File("saved.html");
}
page.save(saveFile);
HtmlElement img = page.getElementById("gmi-ResViewSizer_img");
System.out.println(img.toString());
}
}
关于url - HtmlUnit 和片段标识,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/4588199/
我已将重要信息加粗以使其更易于阅读。 我昨天刚刚更新到Xcode 7.3并且一整天都在尝试解决我的问题。对于类(class),我们用 C 编程 并使用 SVN 修改我们所有的文件以创建我们的项目。我使
在互联网上进行了一些挖掘之后,我无法找到一个很好的答案来说明我可以将哪些字符用于 URL 片段。我正在编写一个 javascript 脚本,它将利用 URL 片段。 我想让 URL 看起来不那么复杂,
我正在尝试在分段文件(styp)的 mp4 容器中定位 h264 帧。对于分割,我目前使用 MP4Box dash。我使用 MP4Box 解析器,我注意到在每个关键帧(IDR)中样本的大小与原始文件中
我想要一个自定义片段动画,以便它们淡入右/淡入左,然后在短暂延迟后淡出。假定所有片段都具有类 .visible 和 .current-fragment。我以为我可以在短暂的延迟后删除类 .visibl
有没有人看到过在 C# 中自动调平图像的任何好的片段? 最佳答案 参见 http://code.google.com/p/aforge/ 关于C# Autolevel 片段?,我们在Stack O
如何检索 View 所属的 Fragment/sap.ui.core.Control? BR 克里斯 最佳答案 如果您的控件的标识符包含 View 的标识符(如果您使用的是 XML View ,则类似
我试图了解这个函数的作用。任何人都可以向我解释这一点吗? function newInstance (class) local o = {} setmetatable (o, clas
简介 根据 this documentation可以指定依赖项,包括每个包的版本,如下所示: 问题 需要应用哪个 Nuspec 片段才能安装依赖项的最新版本? 最佳答案 不幸的是,您无法
我有一个 Gatsby 项目,它对两种不同类型的内容进行了非常相似的 GraphQL 查询:常规页面和 wiki 文章。 按蛞蝓 页 export const query = graphql` q
我遇到了以下教程 JSP tricks to make templating easier?用于使用 JSP 创建页面模板(我怎么这么久都没有想到这个?!?)。但是,在进行了一些搜索之后,我似乎无法弄
我是 Django 的新手,我试图找出如何将 HTML 片段与模型相关联。 我的 HTML 片段只是一个 div。我想重用那个 div(你可以把它想象成一个缩略图) 情况是这样的:在我的主页中,我想显
我经常使用 vim,但我的工作流程通常迫使我与其他 IDE 交互,所以我不是一个像上帝一样的 vim super 用户,我也不想很快成为。 Vim 不是我的 IDE,我也不希望它是。这是一款快速轻便的
我刚刚了解到一个关于在抛出错误时执行 Javascript 的重要事实。在我开始对此下结论之前,我最好验证一下我是否正确。 给定一个包含 2 个脚本的 HTML 页面: 脚本1: doSometh
我是在Chrome片段中编写的: let myVar = someValue; 当我尝试第二次运行它时,它说该变量已被声明并在第一行引发错误。 错误是: Uncaught SyntaxError: I
我想要两个像素着色器;首先要做一件事,然后再做其他事情。这是可能的,还是我必须将所有内容打包到一个着色器中? 最佳答案 您可以这样做,例如通过从主入口点对在各种着色器对象中实现的函数进行函数调用。 m
我正在尝试检查汽车前面是否有任何障碍物。假设汽车在位置“2”。我的目标是检查位置“3”处是否有障碍物。 可能没有明确的障碍事实,这意味着在特定位置没有障碍。我检查使用是否存在有条件。但是在规则 r6
我想在文本区域内编写一个 JavaScript,而不运行 JavaScript。显示为一些可复制的文本。 我使用 jquery 同时插入文本区域和代码片段: $("#copy-snippet-cont
有人可以解释以下 htacess 行,我理解部分内容,但想要更深入的知识。作为注释,我假设它按预期工作,这目前还没有上线,我只是在阅读一些工作簿,这是打印的。 // Don't understand
就目前情况而言,这个问题不太适合我们的问答形式。我们希望答案得到事实、引用资料或专业知识的支持,但这个问题可能会引发辩论、争论、民意调查或扩展讨论。如果您觉得这个问题可以改进并可能重新开放,visit
我目前正在尝试使用 Jquery 根据下拉列表的值附加音频标签 html 列表。主要问题是,当选择值更改时,empty() 和append() 方法根本不会将html 注入(inject)到播放列表d
我是一名优秀的程序员,十分优秀!