java - TestNG 是否保证@BeforeSuite 方法在@BeforeTest 方法之前执行？

Question

背景:我的目标是编写一个独立运行的 TestNG-Selenium 系统(没有字符串到 Maven 或 Ant 插件；只有 Java)。它必须允许测试用例接受参数，包括浏览器和域 URL。当 TestRunner 实例化这些测试用例时，浏览器和域用于获取 Selenium 对象以执行其测试。

问题:在尝试获取 Selenium 对象(在 @BeforeTest 中)之前，每个套件只有一个测试类成功获取域参数(在 @BeforeSuite 方法中) ).不接收域的测试类有一个 null selenium 对象 b/c 它不能被实例化。

代码:每个 XmlClasses 都包含在它们自己的 XmlTest 中，所有三个都在一个 XmlSuite 中。该套件包含的顺序为 TestClass1、TestClass2，然后是 TestClass3。测试类本身是 2 层抽象基类的子类，包括初始化注入(inject)变量和随后获取 Selenium 实例的功能。这样做的目的是测试一个或多个尽可能少重复代码的应用程序(在多个域上)(即:Selenium 实例化在根基类中，因为它对所有测试都是通用的)。有关详细信息，请参阅以下方法。

// Top-most custom base class
abstract public class WebAppTestBase extends SeleneseTestBase
{
        private static Logger logger = Logger.getLogger(WebAppTestBase.class);
        protected static Selenium selenium = null;
        protected String domain = null;
        protected String browser = null;

        @BeforeTest(alwaysRun = true)
        @Parameters({ "selenium.browser" })
        public void setupTest(String browser)
        {
                this.browser = browser;
                logger.debug(this.getClass().getName()
                                + " acquiring Selenium instance ('" + this.browser + " : " + domain + "').");
                selenium = new DefaultSelenium("localhost", 4444, browser, domain);
                selenium.start();
        }

}

// Second level base class.
public abstract class App1TestBase extends WebAppTestBase
{

        @BeforeSuite(alwaysRun = true)
        @Parameters({"app1.domain" })
        public void setupSelenium(String domain)
        {
                // This should execute for each test case prior to instantiating any Selenium objects in @BeforeTest
                logger.debug(this.getClass().getName() + " starting selenium on domain '" + domain+ "'.");
                this.domain = domain;
        }
}

// Leaf level test class
public class TestClass1 extends App1TestBase
{
        @Test
        public void validateFunctionality() throws Exception
        {
                // Code for tests go here...
        }
}

// Leaf level test class
public class TestClass2 extends App1TestBase
{
        @Test
        public void validateFunctionality() throws Exception
        {
                selenium.isElementPresent( ...
                // Rest of code for tests go here...
                // ....
        }
}


// Leaf level test class
public class TestClass3 extends App1TestBase
{
        @Test
        public void validateFunctionality() throws Exception
        {
                // Code for tests go here...
        }
}

输出:TestCase3 正确运行。 TestCase1 和 TestCase2 失败。生成堆栈跟踪...

 10:08:23 [DEBUG RunTestCommand.java:63] - Running Tests.
 10:08:23 [Parser] Running:
  Command line suite
  Command line suite

[DEBUG App1TestBase.java:49] - TestClass3 starting selenium on domain 'http://localhost:8080'.
 10:08:24 [DEBUG WebAppTestBase.java:46] - TestClass2 acquiring Selenium instance ('*firefox : null').
 10:08:24 [ERROR SeleniumCoreCommand.java:40] - Exception running 'isElementPresent 'command on session null
 10:08:24 java.lang.NullPointerException: sessionId should not be null; has this session been started yet?
        at org.openqa.selenium.server.FrameGroupCommandQueueSet.getQueueSet(FrameGroupCommandQueueSet.java:216)
        at org.openqa.selenium.server.commands.SeleniumCoreCommand.execute(SeleniumCoreCommand.java:34)
        at org.openqa.selenium.server.SeleniumDriverResourceHandler.doCommand(SeleniumDriverResourceHandler.java:562)
        at org.openqa.selenium.server.SeleniumDriverResourceHandler.handleCommandRequest(SeleniumDriverResourceHandler.java:370)
        at org.openqa.selenium.server.SeleniumDriverResourceHandler.handle(SeleniumDriverResourceHandler.java:129)
        at org.openqa.jetty.http.HttpContext.handle(HttpContext.java:1530)
        at org.openqa.jetty.http.HttpContext.handle(HttpContext.java:1482)
        at org.openqa.jetty.http.HttpServer.service(HttpServer.java:909)
        at org.openqa.jetty.http.HttpConnection.service(HttpConnection.java:820)
        at org.openqa.jetty.http.HttpConnection.handleNext(HttpConnection.java:986)
        at org.openqa.jetty.http.HttpConnection.handle(HttpConnection.java:837)
        at org.openqa.jetty.http.SocketListener.handleConnection(SocketListener.java:245)
        at org.openqa.jetty.util.ThreadedServer.handle(ThreadedServer.java:357)
        at org.openqa.jetty.util.ThreadPool$PoolThread.run(ThreadPool.java:534)

非常感谢您提供有关此问题的任何信息。

Answer 1

我认为问题在于您的 @BeforeSuite 方法正在为一个字段赋值，但是您有三个不同的实例，所以另外两个永远不会被初始化。

请记住，@BeforeSuite 只运行一次，无论它属于哪个类。因此，@Before/AfterSuite 方法通常在整个测试环境之外的类上定义。这些方法实际上应该是 static 但我决定不强制执行此要求，因为它有时不切实际。

我认为解决问题的更好方法是将域字段视为注入(inject)资源，每个测试将从 Guice 或其他依赖注入(inject)框架接收该资源。