javascript - VBA抓取生成的不在HTML源文件中的内容

Question

我编写了一个 VBA 代码来从网页上抓取一些产品价格。

我可以让它适用于除一个网站之外的所有我想要的网站。在这个特定的网站上，价格不会显示在页面的 HTML 代码中，但据我通过搜索网络了解到的情况，它们是由 JavaScript 在本地生成的。

我怎样才能抓取这些价格？

我使用此方法获取页面源，然后解析响应文本以获取我需要的信息，例如产品名称和链接，但我无法获取价格:

Set xhr = New MSXML2.XMLHTTP60

        adresa = "http://www.elefant.ro/carti/natura"
        With xhr

            .Open "GET", adresa, False
            .send

            If .readyState = 4 And .Status = 200 Then
                Set doc = New MSHTML.HTMLDocument
                corp = .responseText
            Else
                Cells(i, 2) = "error"
            End If
        End With

以下是我收到的页面的 HTML 代码的一部分，其中的价格应为:

<div class="js_PriceContainer" style="display: none">
            <div>
                <div class="product_old_price js_oldPrice">
                    <a class="FFTracking" rel=""  href="/carti/natura/resurse-naturale/ghidul-culegatorului-de-ciuperci-211009.html"><span class="js_basePrice"></span> lei</a>
                </div>

                <div class="product_discount js_ProductDiscount">
                    <a class="FFTracking" rel=""  href="/carti/natura/resurse-naturale/ghidul-culegatorului-de-ciuperci-211009.html">(<span class="js_discount"></span>%)</a>
                </div>
            </div>

            <!-- <div class="promo_bf">
                                            <div class="product_old_price"></div>
                        <div class="product_discount"></div>
                                    </div> -->

            <div style="clear:both"></div>
            <div class="product_final_price js_FinalPriceContainer">
                <a class="FFTracking" rel=""  href="/carti/natura/resurse-naturale/ghidul-culegatorului-de-ciuperci-211009.html">
                    <span class="js_finalPrice js_promoNonBf"></span>
                    <span class="js_finalPrice js_promoBf"></span>
                </a>
            </div>
        </div>

请帮忙!谢谢!

Answer 1

导入QT WebKit在您的项目中，并使用 webkit 的强大功能在抓取之前渲染网页。 This guide解释了 webkit 如何在 LXML scraper 中实现。