sql-server - 质量检测数据

Question

有没有人对测试数据质量有建议。想象一下，您已经以一种格式暂存数据并执行一个过程以将其传输到另一个数据库中关系更规范化的格式。我想创建一堆可以执行的测试来验证数据质量。就工具和技术而言，有人有建议吗？这是针对 SQL Server。

最好的问候。

Answer 1

“更多关系规范化格式”目标数据库本身不是一个测试吗？ NOT NULL、FK、UNIQUE 和 CHECK 约束等会自行解决很多问题。

我建议编写查询来查找丢失或有问题的数据，这完全取决于您的表和业务逻辑。

EDIT 在 OP 评论之后

这些年来，我进行了几次大型转换，我只创建了几个存储过程，每个存储过程导入一组不同的相关表，并在其中处理数据。我通常将数据中每个错误的一堆信息输出到日志表中，并为每种数据错误(被拒绝的不合格数据)保持运行总计。我会与客户一起研究如何处理被拒绝的数据。可能是使数据适合新表的硬代码逻辑等。我不会担心测试数据，只需执行导入它并报告问题的过程。如果问题(拒绝)的数量很少并且可以接受，那么您就完成了。如果不是，您可以继续调整导入过程，直到只出现可接受的拒绝次数。