javascript - 网络爬虫遇到javascript

Question

我是网络抓取的新手。我正在尝试使用 java 抓取网页，但遇到了问题。我需要在 href 是一个 javascript 函数的“HTML 标签”中获取链接。我不知道如何在 javascript 函数中获取链接。这是 html 源代码和 javascript 源代码。

HTML

<a href='javascript:ShowPostGridUnique(205316,0);'>link</a>

JSShowPostGridUnique

function ShowPostGridUnique(parentpostid, pageShow) {
    //alert(parentpostid);
    var divid;
    divid = 'divPostContent' + parentpostid;
    if (document.getElementById(divid).className == 'divGridShow') {
        document.getElementById(divid).className = 'divGridHide';
        document.getElementById(divid).innerHTML = '';
    }
    else {
        document.getElementById(divid).className = 'divGridShow';
        // call server side method
        PageMethods.divParentInnerHtml( parentpostid, pageShow, CallSuccessShowPost, CallFailedAlert, parentpostid);
        try {
            divid = 'TDtitle' + parentpostid;
            document.getElementById(divid).className = 'TDtitle';
            divid = 'TDPage' + parentpostid;
            document.getElementById(divid).className = 'TDtitle';
        }
        catch (err) {
            //Handle errors here
        }
    }
}

如何获取 href 的链接？谢谢。

Answer 1

1. 使用像 Phantomjs 这样的 Headless Browser。 http://phantomjs.org/

2. 使用ghostdriver/selenium控制Phantomjs https://github.com/SeleniumHQ/selenium https://github.com/detro/ghostdriver