c# - 上传到数据库然后验证或验证每一行然后上传到数据库

Question

我有一个要求，我必须将文件上传到数据库。文件每天将有大约 10 万条记录，每月一个 8 到 1000 万条记录。

还有一些字段级别的验证要执行。

验证就像:所有字段都存在，数字字段包含有效数字，日期包含有效日期，指定范围内的数字，字符串格式匹配等。

有3种方法。

1: Upload to temp and then validate
- Create a temp table (all string columns), have extra error column
- upload all entries to temp table
- run validation, populate error column if needed
- move valid entries to correct table

缺点:条目必须在数据库中写入两次，即使是正确的。

2: Upload to db directly
- upload all entries directly to table
- check which entries are not uploaded

缺点:即使在上传后也需要读取每一行，所以和双读一样好

3: Validate and then Upload
- read each line, run all validations on all columns
- if valid then write to db

缺点:文件读取肯定比批量上传到数据库慢。

我正在使用以下语言编写应用程序:C# 和 ASP.NET，数据库是 Oracle。

三种方法中哪一种最好？

Answer 1

我会选择选项 2。

10 万行花生批量和查询验证。