testing - 自动化测试方法-哪个最好？

Question

哪种方法最适合自动化？是数据驱动测试还是关键字驱动测试？现在，即使我们已经进行了业务流程测试，根据您的最佳选择是什么？

Answer 1

这完全取决于您的需求。
作为一项长期投资，我建议使用关键字驱动或混合关键字/数据驱动框架。

请参阅下面的简短概述（摘自我的博客页面http://automation-beyond.com/category/automation/automation-methodology/practices/）。

前端测试自动化实践–记录/播放


描述
•硬编码数据
•硬编码流程
•无错误处理
•没有报告或报告数量有限
•无结构
•无验证
•没有验证
优点
•易于创建
•快速创建
•无需编程
缺点
•极低的可用性
•极高的维护成本
•无验证测试结果
•失败时休息
•测试流程覆盖率低
•仍然需要大量的手工工作
适用性
•演示和销售演示
•当日测试（从头开始重新记录，测试流程短）
•探索性测试（调查测试工具如何处理应用程序）
•自动数据输入（有限制）


前端测试自动化实践–增强了记录/播放


描述
•参数化数据
•数据集是脚本的一部分，但不在代码中
•通过GUI检查点进行验证（硬编码）
•硬编码流程
•无错误处理
•没有报告或报告数量有限
•无结构
优点
•易于创建
•快速创建
•无需编程，但必须具备测试工具的专业知识
缺点
•脆弱的脚本
•不支持多环境
•检查站的维护成本非常高
•测试结果不可重复
•失败时休息
•有限的测试流程范围
•所有分析和验证均手动完成
适用性
•单一/稳定的环境
•短流程测试用例
•有限的检查点集，因为任何数据库/数据输入更改都会破坏验证并需要重新捕获
•短期简化的自动化目标


前端测试自动化实践–数据驱动框架


描述
•以编程方式创建
•参数化，能够导入电子表格
•GUI /数据库检查点，经过硬编码和/或参数化
•基于图书馆的结构
•可能的错误处理
•硬编码但数据驱动的流程（输入和逻辑）
•标准报告
•验证仅限于测试工具的功能
•没有验证
优点
•良好的可用性和可重用性
•良好的测试流程覆盖率
•多环境支持
•数据和代码分开
•可重复的测试结果
缺点
•质量和覆盖范围在很大程度上取决于实施人员的自动化技能
•由于大量代码而导致的持续维护问题
•失败退出
•需要手动验证
适用性
•非常适合于单个应用程序测试，具有多环境，大数据集，并且很少更改测试用例的特点
•批量运行，需要额外的开发工作
•有限的检查点集，因为任何数据库/数据输入更改都会破坏验证并需要重新捕获
•在所需的团队工作空间（环境，数据等）之间共享（离岸支持可能出现的问题）
•中期自动化目标


前端测试自动化实践–关键字驱动的框架


描述
•以编程方式纯
•参数化，能够导入电子表格
•GUI /数据库检查点，经过硬编码和/或参数化
•基于框架的结构
•有限的错误处理
•基于关键字的流程（电子表格中的逻辑和数据）
•可能扩展报告
•验证仅限于测试工具的功能
•没有验证
优点
•良好的可用性和可重用性
•紧凑的代码
•测试开发不需要编程技能
•良好的测试流程覆盖率
•多环境支持
•数据和代码分开
•可重复的测试结果
缺点
•需要初步投资来设计和实施框架
•由于关键字限制，因此无法涵盖非常复杂的测试用例
•需要为员工提供针对特定语言的培训
•版本控制问题
•失败退出
•需要手动验证
适用性
•非常适合用于多应用程序测试（同一平台），具有多环境，大数据集以及大量简短的测试用例
•测试计划/测试方案执行（批量运行）
•有限的检查点集，因为任何数据库/数据输入更改都会破坏验证并需要重新捕获
•为分布式团队提供更好的支持，尤其是在实施扩展报告的情况下
•对元语言的多工具支持
•中长期自动化目标


前端测试自动化实践–混合关键字/数据驱动框架


描述
•以编程方式纯
•内部数据模型，能够从各种来源导入/导出数据
•GUI /数据库检查点，已参数化/已转换
•业务验证规则
•基于框架的结构；能够集成外部对象（即MSXML DOM）
•异常处理和恢复功能
•面向测试用例的执行（代码之外的业务逻辑）
•数据驱动的输入和验证
•扩展业务报告
•基于AI的验证方法
优点
•高可用性和可重用性
•紧凑且可扩展的架构
•创建测试计划/测试方案不需要在测试工具上进行编程或培训
•广泛的测试流程覆盖
•多应用支持
•数据和代码分开
•可重现和证明的测试结果，方便且可转移的测试报告
•内置的一致性和严重性验证
缺点
•需要初步投资来设计和实施框架
适用性
•针对多应用，多平台产品的全面功能测试，具有大量复杂的测试用例
•烟熏回归健康测试周期，涵盖范围广且经过验证
•测试计划/测试方案执行（批量运行）
•大而多变的数据集和数据过渡案例
•对分布式团队的出色支持
•与其他测试工具集成
•中长期自动化目标