python - 在 pytest 中使用命令行选项进行非 python 测试

Question

我正在使用 https://docs.pytest.org/en/latest/example/nonpython.html 中的教程实现基于外部文件的自定义测试用例.

我需要用一个 bool 标志对它们进行参数化。我希望能够使用命令行选项运行 pytest，在我的例子中是 --use-real-api，这将关​​闭使用模拟并与远程网络 API 进行真正的对话。

我尝试使用 cmdopt 教程并将它们混合在一起，但找不到任何方法来从自定义 pytest.Item 子类中读取参数。你能帮忙吗？这是教程中的一个简单示例。我想让它根据传递的 cmdopt 值更改测试行为。

# content of conftest.py
import pytest


def pytest_collect_file(parent, path):
    if path.ext == ".yml" and path.basename.startswith("test"):
        return YamlFile(path, parent)


class YamlFile(pytest.File):
    def collect(self):
        import yaml
        raw = yaml.safe_load(self.fspath.open())
        for name, spec in sorted(raw.items()):
            yield YamlItem(name, self, spec)


class YamlItem(pytest.Item):
    def __init__(self, name, parent, spec):
        super().__init__(name, parent)
        self.spec = spec

    def runtest(self):
        for name, value in sorted(self.spec.items()):
            # some custom test execution (dumb example follows)
            if name != value:
                raise YamlException(self, name, value)

    def repr_failure(self, excinfo):
        """ called when self.runtest() raises an exception. """
        if isinstance(excinfo.value, YamlException):
            return "\n".join(
                [
                    "usecase execution failed",
                    "   spec failed: %r: %r" % excinfo.value.args[1:3],
                    "   no further details known at this point.",
                ]
            )

    def reportinfo(self):
        return self.fspath, 0, "usecase: %s" % self.name


class YamlException(Exception):
    """ custom exception for error reporting. """


def pytest_addoption(parser):
    parser.addoption(
        "--cmdopt", action="store", default="type1", help="my option: type1 or type2"
    )


@pytest.fixture
def cmdopt(request):
    return request.config.getoption("--cmdopt")

Answer 1

pytest 中的每个集合实体(File、Module、Function 等)都是 Node 的子类型定义对 config 对象的访问的类。知道了这一点，任务就变得简单了:

def pytest_addoption(parser):
    parser.addoption('--run-yml', action='store_true')

def pytest_collect_file(parent, path):
    run_yml = parent.config.getoption('--run-yml')
    if run_yml and path.ext == ".yml" and path.basename.startswith("test"):
        return YamlFile(path, parent)

运行 pytest --run-yml 现在将收集 YAML 文件；没有标志，它们将被忽略。

访问自定义类中的配置也是如此，例如:

class YamlItem(pytest.Item):    
    def runtest(self):
        run_yml = self.config.getoption('--run-yml')
        ...

等等