F# CSV TypeProvider 在控制台应用程序中不太健壮

Question

我正在尝试使用来自冠状病毒大流行的实时数据(不幸的是，祝我们所有人好运)。

我开发了一个小脚本，我正在过渡到一个控制台应用程序:它使用 CSV 类型的提供程序。

我有以下问题。假设我们要按地区过滤意大利传播，我们可以将此代码用于 .fsx 文件:

open FSharp.Data

let provinceData = CsvProvider< @"https://raw.githubusercontent.com/pcm-dpc/COVID-19/master/dati-province/dpc-covid19-ita-province.csv" , IgnoreErrors = true>.GetSample()


let filterDataByProvince province = 
    provinceData.Rows
    |> Seq.filter (fun x -> x.Sigla_provincia = province)

由于序列懒惰，然后假设我强制编译器将罗马省的数据加载到内存中，我可以添加:

let romeProvince = filterDataByProvince "RM" |> Seq.toArray

这工作正常，由 FSI 在本地运行。

现在，如果我使用 .fs 文件将此代码转换为控制台应用程序；我声明了完全相同的函数并使用完全相同的类型提供程序加载器；但我没有使用最后一行来收集数据，而是将其放入主函数中:

[<EntryPoint>]
let main _ =
    let romeProvince = filterDataByProvince "RM" |> Seq.toArray

    Console.Read() |> ignore
    0

这会导致以下运行时异常:

System.Exception
  HResult=0x80131500
  Message=totale_casi is missing
  Source=FSharp.Data
  StackTrace:
   at <StartupCode$FSharp-Data>.$TextRuntime.GetNonOptionalValue@139-4.Invoke(String message)
   at CoronaSchiatta.Evoluzione.provinceData@10.Invoke(Object parent, String[] row) in C:\Users\glddm\source\repos\CoronaSchiatta\CoronaSchiatta\CoronaEvolution.fs:line 10
   at FSharp.Data.Runtime.CsvHelpers.parseIntoTypedRows@174.GenerateNext(IEnumerable`1& next)

你能解释一下吗？

有些行的格式可能很奇怪，但 FSI session 对这些行是健壮的，而控制台版本是脆弱的；为什么？我该如何解决？

我正在使用 VS2019 社区版，面向 .NET Framework 4.7.2，F# 运行时:4.7.0.0；
作为 FSI，我使用以下内容:FSI Microsoft (R) F# Interactive version 10.7.0.0 for F# 4.7

PS:还请注意，如果我使用 CsvFile，而不是类型提供程序，如:

let test = @"https://raw.githubusercontent.com/pcm-dpc/COVID-19/master/dati-province/dpc-covid19-ita-province.csv" 
               |> CsvFile.Load |> (fun  x  -> x.Rows )  |> Seq.filter ( fun x-> x.[6 ] = "RM")
               |> Seq.iter ( fun x -> x.[9] |> Console.WriteLine )

然后它在控制台应用程序中也像魅力一样工作。当然，我想使用类型提供程序，否则我必须添加类型定义，将模式映射到列(这会更脆弱)。最后一行只是一个快速测试。

Answer 1

脆弱性

如果您没有好的架构或示例，CSV 类型提供程序可能会很脆弱。

现在出现运行时错误几乎肯定是因为您的数据不匹配。
你怎么看出来的？一种方法是首先运行您的数据:

provinceData.Rows |> Seq.iteri (fun i x -> printfn "Row %d: %A" (i + 1) x)

这运行到第 2150 行。果然，下一行:

2020-03-11 17:00:00,ITA,19,Sicilia,994,In fase di definizione/aggiornamento,,0,0,

您可以看到缺少最后一个值 ( totale_casi )。

CsvProvider 的选项之一是 InferRows .这是提供程序为构建架构而扫描的行数 - 其默认值恰好是 1000。

所以:

type COVID = CsvProvider<uri, InferRows = 0>

防止将来发生这种情况的更好方法是从数据子集中手动定义样本:

type COVID = CsvProvider<"sample-dpc-covid19-ita-province.csv">

和 sample-dpc-covid19-ita-province.csv是:

    data,stato,codice_regione,denominazione_regione,codice_provincia,denominazione_provincia,sigla_provincia,lat,long,totale_casi
    2020-02-24 18:00:00,ITA,13,Abruzzo,069,Chieti,CH,42.35103167,14.16754574,0
    2020-02-24 18:00:00,ITA,13,Abruzzo,066,L'Aquila,AQ,42.35122196,13.39843823,
    2020-02-24 18:00:00,ITA,13,Abruzzo,068,Pescara,PE,42.46458398,14.21364822,0
    2020-02-24 18:00:00,ITA,13,Abruzzo,067,Teramo,TE,42.6589177,13.70439971,0

有了这个 totale_casi 的类型现在是 Nullable<int> .

如果您不介意 NaN值，您还可以使用:

CsvProvider<..., AssumeMissingValues = true>

为什么 FSI 看起来更稳健？

FSI 不是更健壮。这是我最好的猜测:

您的架构源会定期更新。
类型提供商 cache the schema ，这样它就不会在您每次编译代码时重新生成架构，这可能是不切实际的。当您重新启动 FSI session 时，您最终会重新生成您的类型提供程序，但控制台应用程序并非如此。因此，在使用较新的源时，它有时可能具有不易出错的效果。