c# - 使用 FileHelper 库解析具有 n 级层次结构的位置记录文件

Question

我正在尝试使用 FileHelper 库来解析文本文件。最终数据将存储在数据库中。我的文本文件包含位置记录。记录的前两个字符定义了记录层次结构中的位置。该文件按以下方式排序:

• 10 个通用数据(10-19 个级别相同)
  • 20个二级数据(20-29有相同级别)
    • 30个3级数据(30-39有同级)
      • 40 4 级数据
        • 50 5 级数据
          • 60 最后一级数据
          • 60 最后一级数据
        • 50 5 级数据
          • 60 最后一级数据
          • 60 最后一级数据
      • 40 4 级数据
        • 50 5 级数据
          • 60 最后一级数据
          • 60 最后一级数据
        • 50 5 级数据
          • 60 最后一级数据
          • 60 最后一级数据
    • 30 三级数据
      • 重复序列 40、50、60..
  • 20 二级数据
    • 重复序列 20、40、50、60.. 等等......

现在我正在尝试使用 FileHelper 的主从概念，但我猜它只适用于一级主从。它可以用来创建一个数据层次结构，然后可以用来填充相关的表格吗？所有记录都是定长记录，所以没有问题。

注意:记录之间没有主外键关系。位置和记录号告诉谁是 parent (主人)，谁是 child (详情)。

样本日期如下:

10R 420120320F 20120320212045 16
11F FFuture              
11C OCall                
11P OPut                 
12CADCanadian Dollars     0
12CHFSwiss Francs         0
12CZKCzech Republic Korun 0
12DEMGerman Marks         0
12DKKDanish Krone         0
12ESBSpanish Pesatas      3
12EUREuropean currency Un 0
12FIMFinnish Mark         0
14     1 20.0000    100 2O  UKX 1A 1L  Z   1B 1
14     2 20.0000    100 2L  EFE 1A 1O  EFE 1B 1
14     3 20.0000    100 2L  EFP 1A 1O  EFP 1B 1
14     4 20.0000    100 2L  CCI 1A 1O  CCI 1B 1
14     5 20.0000    100 2L  AXI 1A 1O  AXI 1B 1
14     6 20.0000    100 2L  BLI 1A 1O  BLI 1B 1
15  1F+0, VOL+        2
15  2F+0, VOL-        1
15  3F+1/3, VOL+      4
15  4F+1/3, VOL-      3
15  5F-1/3, VOL+      6
15 16F-EXTREME       16
16EQYLIFFE Equities           
16IPEIntl. Petroleum Exchange 
16LCPLIFFE Commodity Products 
16LIFLIFFE Financials         
16LIGLIFFE OTC                
16LMELME Metals               
20L  LIFFE   F 
30AXIAEX Index              EQYEUR2.000.3500        10 110 1        
31 1 10000000099999999
32  1       220 2 1 1A 1 1B
34 1 1 1 1
40ZAXFAEX Index Future    EUR 10000    10       0.02000    1.00     0     0 2000002
50201204000.0000000.25000.2500  120120400
60       0F     1 3308420   1.0000      0      0 -66667 -66667  66667  66667-133333-133333 133333 133333-200000-200000 200000 200000-140000 140000
50201205000.0000000.25000.2500  120120500
60       0F     1 3262910   1.0000      0      0 -66667 -66667  66667  66667-133333-133333 133333 133333-200000-200000 200000 200000-140000 140000
50201206000.0000000.25000.2500  120120600
60       0F     1 3258970   1.0000      0      0 -66667 -66667  66667  66667-133333-133333 133333 133333-200000-200000 200000 200000-140000 140000
40I  OTHREE MONTH EURO (EUEUR 10000    25       0.25000    1.00     3  1000   32002
50201204000.0000000.35000.3500  120120600
60   97750C     1   16000   1.0000      0      0  -1067  -1067   1067   1067  -2133  -2133   2133   2133  -3200  -3200   3200   3200  -2240   2240
60   97750P     1       0   0.0000      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
60   97875C     1   14750   1.0000      0      0  -1067  -1067   1067   1067  -2133  -2133   2133   2133  -3200  -3200   3200   3200  -2240   2240
60   97875P     1       0   0.0000      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
30L  3 Month Pound Sterli   LIFGBP2.000.3500         11010 1        
31 6 10000000020120600 22012090020121200 32013030020131200 42014030020141200 52015030020151200 62016030099999999
32  1        50 2 2 1A 2 1B
32  2        55 2 1 1A 1 1B
32 21       290 2 6 1A 6 1B
34 2 1 1 3 2 4 6

请任何人指导我如何使用 FileHelper 或任何其他库或某些算法来解析它。在此使用 XML 可能会出现问题，因为文件很大(100 Mb)，所以我更喜欢基于非 XML 的方法(我以前的方法是基于 XML 的，但被我的架构师拒绝了)。

提前致谢。

Answer 1

FileHelpers 并不是真正为那么复杂的格式设计的。你可能会得到 MultiRecord engine 的某个地方如果您为每一行定义一个单独的格式并根据行的开头解析它们，但是您会发现将子记录与父记录链接起来很棘手。

我认为最好的方法是手动编码。有点像

1. 逐行阅读
2. 将每一行分成字段
3. 如果是主线，详细阅读
4. 如果详细信息行是掌握更多详细信息，请阅读这些行...等。

如果文件很大，那么你不应该尝试在不将解析的部分保存在某个地方(数据库)的情况下处理整个文件。

有一些有趣的方法可以处理 CSV 语法的解析。你可以使用 Linq当存在解析问题时，它不会给出非常有用的错误消息。或者您可以按照描述使用 ExpandoObjects here .另一种方法是使用像 Sprache 这样的解析器生成器。 .无论如何，如果您尝试处理整个文件，这些方法可能会遇到内存问题。我的建议是考虑使用它们来解析各个行。