javascript - UrlFetchApp.fetch - 缺少网页代码。如何获取完整代码？

Question

我正在尝试从此网页获取数据:

http://www.gymboree.com/shop/dept_item.jsp?PRODUCT%3C%3Eprd_id=845524446027540&FOLDER%3C%3Efolder_id=2534374305278637&ASSORTMENT%3C%3East_id=1408474395917465&bmUID=1363035275064&productSizeSelected=0&fit_type=

通过 UrlFetchApp.fetch(url).getContentText() 但我没有从页面获取所有数据:

UrlFetchApp.fetch(url).getContentText() 给我:

<ul id=""size-options-ul"" class=""size-options""> <!-- AJAX DATA -->

但在这个目录中有一个额外的代码(我在 Google Chrome 中单击，右键单击该页面，然后检查元素。Chrome 为我提供了该页面的所有代码)

<ul id="size-options-ul" class="size-options"><li id="1689949376460861_0" title="0-3 mos"><a href="javascript:DoSmth()" title="0-3 mos"><span>0-3 mos</span></a></li><li id="1689949376460862_1" title="3-6 mos" class=""><a href="javascript:DoSmth()" title="3-6 mos"><span>3-6 mos</span></a></li><li id="1689949376460864_2" title="6-12 mos" class="selected"><a href="javascript:DoSmth()" title="6-12 mos"><span>6-12 mos</span></a></li><li id="1689949376460865_3" title="12-18 mos" class=""><a href="javascript:DoSmth()" title="12-18 mos"><span>12-18 mos</span></a></li><li id="1689949376460866_4" title="18-24 mos"><a href="javascript:DoSmth()" title="18-24 mos"><span>18-24 mos</span></a></li></ul>

如何获得完整代码？也许 UrlFetch 的一些参数可以做到这一点？我认为这个页面是通过 Javascript 动态生成的……但 Chrome 浏览器以某种方式从页面和脚本中获取了所有数据，这也许是可能的。

谢谢!伊万。

Answer 1

Apps 脚本的 UrlFetchApp 不会解释任何内容，因为它确实发出 HTTP 请求并仅返回来自服务器的响应。

但 Chrome 会在页面加载后解释 JavaScript，并将结果插入 DOM 中(以便您可以在 Inspect Element 中查看当前状态)。

您需要使用可以“解释”JavaScript 的工具请参阅这些链接

• screen-scraping-w-javascript Link 1
• screen-scraping-w-javascript Link 2