html - 从 xmlhttp 抓取数据

Question

我正在尝试从 xmlhttp 中抓取元素。我对 vba 还算不错，但对数据抓取还比较陌生。我以前一直在用ie。

我可以将 html 导入到单元格中，但我想具体导入名称、ID、价格和库存水平。

我用来导入数据的代码是

    Private Sub HTML_VBA_Excel()

    Dim oXMLHTTP    As Object
    Dim sPageHTML   As String
    Dim sURL        As String

        'Change the URL before executing the code
        sURL = "https://www.superdrug.com/Make-Up/Lips/Lip-Kits/Flower-Beauty-Mix-N%27-Matte-Lipstick-Duo-Tickled-Pink-687/p/769466"

        'Extract data from website to Excel using VBA
        Set oXMLHTTP = CreateObject("MSXML2.ServerXMLHTTP")
        oXMLHTTP.Open "GET", sURL, False
        oXMLHTTP.send
        sPageHTML = oXMLHTTP.responseText

        'Get webpage data into Excel
        sh02.Cells(1, 1) = sPageHTML

End Sub

提前感谢您提供的任何帮助。

伊恩

Answer 1

您无法从针对您显示的 url 发出的 xmlhttp 请求中可靠地提取信息，因为内容是 javascript 加载的并且不会运行。

不确定 token 的可持续性如何(使用的值似乎无关紧要)但是您可以加入 productid，它是您的 url 的末尾，页面中存在 ajax token 并使用 issue 和 xmlhttp 请求querystring 参数并解析感兴趣项目的 json 响应。我用 jsonconverter.bas .下载并安装 .bas 后，您需要转到 VBE > Tools > References 并添加对 Microsoft Scripting Runtime 的引用。

一些测试似乎表明可以在连字符后添加任何数字来代替 token ，这样您就可以即时随机生成一个数字以供使用。

值得注意的是，您可以在查询字符串中用逗号分隔多个产品，从而进行批量请求。然后，您需要对返回的字典集合执行 For Each 循环。

Option Explicit

Public Sub GetInfo()
    Const URL As String = "https://www.superdrug.com/micrositeProduct/bulk/769466-1548702898380"
    Dim json As Object, title As String, price As String, stocking As String, id As String
    With CreateObject("MSXML2.XMLHTTP")
        .Open "GET", URL, False
        .Send
        Set json = jsonconverter.ParseJson(.responsetext)(1)
    End With

    title = json("name")
    price = json("price")("formattedValue") 'json("price")("value")
    stocking = json("stockLevel")
    id = json("code")
End Sub

如果您使用浏览器，则 json 字符串作为 .innerHTML 出现在一个脚本标记中，您可以轻松地从那里提取。