python - 如何配置 pytest 在生成测试时生成有用的名称？

Question

我正在使用 py.test 执行一套 Selenium 测试。我本质上是在我的 conftest.py 中运行一个收集器，它生成这样的测试(我从 pytest 文档中窃取了这个):

def pytest_generate_tests(metafunc):
    funcarglist = metafunc.cls.cases[metafunc.function.__name__]
    argnames = list(funcarglist[0])
    metafunc.parametrize(argnames, [[funcargs[i] for i in argnames]
                                for funcargs in funcarglist])

我的测试用例放置在如下所示的对象中:

class TestObject(object):

def __init__(
        self,
        parameter_1,

):
    self.parameter_1 = parameter_1
    self.parameter_2 = parameter_2

我像这样实例化它们:

test_cases_values = {
    "friendly_case_name_1": TestObject(
        "parameter_1_value",
        "parameter_2_value"
    ),
    "friendly_case_name_2": TestObject(
        "parameter_1_value",
        "parameter_2_value"
    ),
}

我的浏览器连接到网格服务器，我像这样列出它们的列表:

BROWSERS = [
    "('browser_1', SERVER_URL)",
    "('browser_2', SERVER_URL)"
]

我将目标环境存储在一个配置文件中，该文件是如下对象的实例:

class Environment(object):

    def __init__(self, url=URL, port=PORT):
        self.url = url
        self.port = port

    def __name__(self):
        return self.url + ":" + self.port

ENVIRONMENT = Environment()

然后我有一个测试类，它创建一个这样的测试用例列表 - 测试对象参数实际上是允许自生成代码的字符串。当我将它们作为更广泛的 exec 语句的填充传递时，我过于简单化了:

class TestClass(object):

    cases = {"test_function": []}
    for i in test_cases.values():
        for j in BROWSERS:
            cases["test_function"].append(
                dict(
                    browser=j,
                    environment=ENVIRONMENT
                    test_object=i
                )
            )

    @pytest.mark.run()
    def test_function(
        self,
        browser,
        environment,
        test_object
    ):
        exec(test_object.parameter_1)
        exec(test_object.parameter_2)
        assert my_assertion

当收集器运行时，它看起来像这样:

collected # items    <Module 'tests.py'>      <Class 'TestClass'>        <Instance '()'>          <Function "test_function[environment0-test_object0-('browser_1', GRID_SERVER)]">          <Function "test_function[environment1-test_object1-('browser_2', GRID_SERVER)]">          <Function "test_function[environment2-test_object2-('browser_1', GRID_SERVER)]">          <Function "test_function[environment3-test_object3-('browser_2', GRID_SERVER)]">

我想让收集器以这样的方式工作，以便我能返回有关每个项目的有用信息 - 我在各个地方设置 __str__、__repr__ 和 __name__ 方法，但没有得到我预期的结果。我希望能够将其纳入报告中 - 这在生产中生成了 200 多个测试，我目前必须通过堆栈跟踪进行跟踪，以准确找出每个故障正在测试的内容。

我不太确定我在哪里犯了错误，我是否应该修改 pytest_generate_tests 的实现，或者我创建 TestClass 的方式，或者以不同的方式设置案例？理想情况下，我想要一些可以通过 ORM 映射回来的东西，以包含测试元数据。

Answer 1

嗯，我明白了。事实证明，metafunc.parametrize 函数接受“ids”作为参数。我所要做的就是定义我要命名的对象的 __repr__ ，并扩展列表理解，这样我就可以从同一个循环返回两个东西。

def pytest_generate_tests(metafunc):
    funcarglist = metafunc.cls.cases[metafunc.function.__name__]
    argnames = list(funcarglist[0])
    argvalues = []
    ids = []
    for i in funcarglist:
        inner_argvalues_list = []
        inner_ids_list = []
        for j in argnames:
            inner_argvalues_list.append(i[j])
            if type(i[j]) != str:
                inner_ids_list.append(i[j].__repr__())
            else:
                inner_ids_list.append(i[j])
        argvalues.append(inner_argvalues_list)
        ids.append(inner_ids_list)
    metafunc.parametrize(argnames, argvalues, ids=ids)