sql - 将未格式化的 txt 文件导入 SQL

Question

我在将数据从文本文件导入 SQL 时遇到问题。不是因为我不知道如何......而是因为格式对于这个目的来说非常糟糕。下面是我需要处理的文本文件类型的修改示例:

---

1   VA -    P
2   VB to 1X    P
3   VC to 1Y    P
4   N - P
5   G to 1G,Frame   P
6   Fout to 1G,Frame    P
7   Open Breaker    P
8   1B to 1X    P
9   1C to 1Y    P

Test Status: Pass
Hi-Pot @ 1500V: Pass 
Customer Order:904177-F
Number: G4901626-200
Serial Number: J245F6-2D03856
Catalog #: CBDC37-X5LE30-H40-L630C-4GJ-G31
Operator: TGY
Date:  Aug 01, 2013
Start Time: 04:09:26
Finish Time: 04:09:33

---

前9行都是具体的测试结果(制表符分隔)，下面是标题信息。我的问题是我需要弄清楚:

1. 我如何获取上面的数据并将其分解为标准列格式以导入到 SQL 中？

2. 然后我怎样才能使它自动化，以便我可以遍历整个文件夹结构？ -您在上面看到的是分成几个子目录的数百个文件之一。

另请注意，标题信息上方的测试行数因文件而异。 header 信息的格式基本相同。这是所有无法重新生成但需要导入到我们的 SQL 数据库中的遗留数据。

我正在考虑使用带有自定义脚本的 SSIS 项目来导入数据...通过查找第一个空行从底部拼接顶部部分...然后将标题中的数据转换为列格式。 ..合并...然后继续。但我写的 VB 不多，我不确定如何处理它。

我在可以访问 BIDS 的 SQL Server 2008R2 环境中工作。

想法？

Answer 1

我会首先将数据作为所有字符导入到一个只有一个字段的表中，每行一条记录。然后，您可以从该表中将每条记录解析为适合每一行的字段和字段类型。希望有办法弄清楚每行是什么数据，每个文件的顺序是否一致，或者头记录指示有关后续行的信息。从那里，数据可以移动到最终(解析可能需要多次通过)表，其中数据以可用于您需要的任何格式存储。