javascript - 带有异步 forEach 循环的磁带 "test exited without ending"错误

Question

我在做什么

编辑:我创建了一个 repo使用我的问题的简化版本重现问题。

我正在尝试使用 browserstack 设置自动化前端测试, selenium-webdriver和 tape .

• More about tape

这个想法是定义多个浏览器和设备，这些浏览器和设备必须用 X 数量的给定测试一个接一个地进行测试。在下面的例子中，我在 OSX 上只定义了一个测试和两个浏览器。

为了只定义一次浏览器并处理测试，我创建了一个 repo test-runner，它应该作为 dev-dependency 添加到需要的 repos在给定的设备和浏览器上测试。test-runner 使所有需要的测试都通过，启动第一个浏览器，在该浏览器上运行测试，一旦完成所有测试，浏览器就会关闭 quit() 并且下一个浏览器启动并再次测试。

测试运行器

/index.js

const webdriver = require( 'selenium-webdriver' )

// ---
// default browser configs
// ---
const defaults = {
  "os" : "OS X",
  "os_version" : "Mojave",
  "resolution" : "1024x768",
  "browserstack.user" : "username",
  "browserstack.key" : "key",
  "browserstack.console": "errors",
  "browserstack.local" : "true",
  "project" : "element"
}

// ---
// browsers to test
// ---
const browsers = [
  {
    "browserName" : "Chrome",
    "browser_version" : "41.0"
  },
  {
    "browserName" : "Safari",
    "browser_version" : "10.0",
    "os_version" : "Sierra"
  }
]

module.exports = ( tests, url ) => {

  // ---
  // Asynchronous forEach loop
  // helper function
  // ---
  async function asyncForEach(array, callback) {
    for (let index = 0; index < array.length; index++) {
      await callback(array[index], index, array)
    }
  }

  // ---
  // runner
  // ---
  const run = async () => {

    // ---
    // Iterate through all browsers and run the tests on them
    // ---
    await asyncForEach( browsers, async ( b ) => {

      // ---
      // Merge default configs with current browser
      // ---
      const capabilities = Object.assign( {}, defaults, b )

      // ---
      // Start and connect to remote browser
      // ---
      console.info( '-- Starting remote browser hang on --', capabilities.browserName )
      const browser = await new webdriver.Builder().
        usingServer( 'http://hub-cloud.browserstack.com/wd/hub' ).
        withCapabilities( capabilities ).
        build()

      // ---
      // Navigate to page which needs to be checked (url)
      // ---
      console.log('-- Navigate to URL --')
      await browser.get( url )

      // ---
      // Run the tests asynchronously
      // ---
      console.log( '-- Run tests --- ' )
      await asyncForEach( tests, async ( test ) => {
        await test( browser, url, capabilities, webdriver )
      } )

      // ---
      // Quit the remote browser when all tests for this browser are done
      // and move on to next browser
      // Important: if the browser is quit before the tests are done
      // the test will throw an error beacause there is no connection
      //  anymore to the browser session
      // ---
      browser.quit()

    } )

  }

  // ---
  // Start the tests
  // ---
  run()

}

如果您想知道这个asyncForEach 函数是如何工作的，我是从here 得到的。 .

我的仓库

/test/front/index.js

const testRunner = require( 'test-runner' )
const url = ( process.env.NODE_ENV == 'development' ) ? 'http://localhost:8888/element/...' : 'https://staging-url/element/...'

// tests to run
const tests = [
  require('./test.js')
]

testRunner( tests, url )

/test/front/test.js

const tape = require( 'tape' )

module.exports = async ( browser, url, capabilities, driver ) => {

  return new Promise( resolve => {

    tape( `Frontend test ${capabilities.browserName} ${capabilities.browser_version}`, async ( t ) => {

      const myButton = await browser.wait( driver.until.elementLocated( driver.By.css( 'my-button:first-of-type' ) ) )

      myButton.click()

      const marked = await myButton.getAttribute( 'marked' )
      t.ok(marked == "true", 'Button marked')

      //---
      // Test should end now
      //---
      t.end()

      resolve()

    } )

  })

}

/package.json

{
  ...
  "scripts": {
    "test": "NODE_ENV=development node test/front/ | tap-spec",
    "travis": "NODE_ENV=travis node test/front/ | tap-spec"
  }
  ...
}

当我想运行测试时，我在 my-repo 中执行 npm run test

请记住，我们只有一个测试(但也可以是多个测试)并且定义了两个浏览器，因此行为应该是:

1. 启动浏览器 1 并导航 (Chrome)
2. 在浏览器 1 (Chrome) 上进行一次测试
3. 关闭浏览器 1(Chrome)
4. 启动浏览器 2 并导航 (Safari)
5. 在浏览器 2 (Safari) 上进行一次测试
6. 关闭浏览器 2 (Safari)
7. 完成

问题

异步的东西似乎工作得很好，浏览器按预期一个接一个地启动。 问题是，即使我调用 t.end() 并且我没有进入第二个测试(在 4 之后立即失败)，第一个测试也没有完成。.

我尝试了什么

我尝试使用 t.pass() 并使用 NODE_ENV=development tape test/front/| 运行 CLI tap-spec 但它没有帮助。我还注意到，当我在 test.js 中不使用 resolve() 时，测试结束得很好，但当然我不会进入下一个测试。

我还尝试像 this issue 中的解决方案一样调整我的代码但没能成功。

同时我也开了一个issue在磁带 github 页面上。

所以我希望这个问题读起来不会太痛苦，我们将不胜感激任何帮助。

Answer 1

tape 似乎不能很好地处理异步代码。在他们的 Github 问题页面上查看这些讨论:

https://github.com/substack/tape/issues/223
https://github.com/substack/tape/issues/160

解决方案似乎是在开始时使用 tape.add 声明您的测试，然后再调用任何异步代码。

如果您只是按顺序打开浏览器，我还会尝试重构一些可能不需要的异步代码。