javascript - 使用 puppeteer 获取完整的网页源代码 html - 但总是缺少某些部分

Question

我正在尝试在以下网页上抓取特定字符串:
https://www.booking.com/hotel/nl/scandic-sanadome-nijmegen.en-gb.html?checkin=2020-09-19;checkout=2020-09-20;i_am_from=nl;
我想从这个网页源获得的信息是下面字符串中的数字序列(这是我可以在右键单击鼠标时搜索的 ->

"View Page source"): 
 name="nr_rooms_4377601_232287150_0_1_0"/ name="nr_rooms_4377601_232287150_1_1_0" 

我正在使用“ puppeteer”，下面是我的代码:

const puppeteer = require('puppeteer');
(async() => {
    const browser = await puppeteer.launch();
    const page = await browser.newPage();
    //await page.goto('https://example.com');
    const response = await page.goto("My-url-above");
    let bodyHTML = await page.evaluate(() => document.body.innerHTML);
    let outbodyHTML = await page.evaluate(() => document.body.outerHTML);
    console.log(await response.text());
    console.log(await page.content());
    await browser.close();
})()

但我在 response.text() 中找不到我要查找的字符串或 page.content() .
我在页面中使用了错误的方法吗？
如何在网页上转储实际的页面源，与我右键单击鼠标完全相同？

Answer 1

如果您调查这些字符串出现的位置，那么您可以在 <select> 中看到它。具有特定类 (.hprt-nos-select) 的元素:

<select
  class="hprt-nos-select"
  name="nr_rooms_4377601_232287150_0_1_0"
  data-component="hotel/new-rooms-table/select-rooms"
  data-room-id="4377601"
  data-block-id="4377601_232287150_0_1_0"
  data-is-fflex-selected="0"
  id="hprt_nos_select_4377601_232287150_0_1_0"
  aria-describedby="room_type_id_4377601 rate_price_id_4377601_232287150_0_1_0 rate_policies_id_4377601_232287150_0_1_0"
>

您将等到此元素加载到 DOM 中，然后它也将在页面源中可见:

await page.waitForSelector('.hprt-nos-select', { timeout: 0 });

但你的问题实际上在于， 您访问的网址有一些额外的网址参数: ?checkin=2020-09-19;checkout=2020-09-20;i_am_from=nl; puppeteer 没有考虑到这些(您可以截取整页屏幕截图，您会看到它仍然有默认的酒店搜索表单，没有具体的酒店优惠，而不是您所期望的)。
您应该使用 puppeteer( page.click() 等)与搜索表单进行交互，以自行设置日期和原产国，以实现预期的页面内容。