- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
FAOCropsLivestock.csv
包含超过 1400 万行。在我的 .fs
文件中,我声明了
type FAO = CsvProvider<"c:\FAOCropsLivestock.csv">
并尝试使用以下代码
FAO.GetSample().Rows.Where(fun x -> x.Country = country) |> ....
FAO.GetSample().Filter(fun x -> x.Country = country) |> ....
在这两种情况下,都抛出了exception
。
在 MSSQL Server 中加载 csv
文件后,我也尝试使用以下代码
type Schema = SqlDataConnection<conStr>
let db = Schema.GetDataContext()
db.FAOCropsLivestock.Where(fun x-> x.Country = country) |> ....
它有效。如果我使用 OleDb
连接发出 query
,它也可以工作,但速度很慢。
如何使用 CsvProvider
从中获取序列?
最佳答案
如果你引用CSV Type Provider documentation的底部,您将看到有关处理大型数据集的部分。如此处所述,您可以设置 CacheRows = false
,这将在处理大型数据集时为您提供帮助。
type FAO = CsvProvider<"c:\FAOCropsLivestock.csv", CacheRows = false>
然后,您可以将 CSV 的行作为序列使用标准序列操作,而无需将整个文件加载到内存中。例如
FAO.GetSample().Rows |> Seq.filter (fun x -> x.Country = country) |> ....
但是,您应该注意只枚举内容一次。
关于f# - CsvProvider 抛出 OutOfMemoryException,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40852191/
我想使用 FSharp.Data.CsvProvider (v1.1.10) 创建一个类型来处理带有“;”的 CSV 文件分隔符和预定义架构。 下面一行报错: type CsvType1 = CsvP
FAOCropsLivestock.csv 包含超过 1400 万行。在我的 .fs 文件中,我声明了 type FAO = CsvProvider 并尝试使用以下代码 FAO.GetSample()
我是 F# 的初学者,我正在尝试使用 CsvProvider 并重现此处给出的示例 http://fsharp.github.io/FSharp.Data/library/CsvProvider.ht
我有一个包含 6 列和 678,552 行的 csv 文件。不幸的是,我无法分享任何数据样本,但类型很简单:int64 , int64 , date , date , string , string并
为什么我用 CsvProvider<> 创建一个新的 CSV 类型在 F# 中是这样的: type ThisCsv = CsvProvider 然后创建/填充/保存 .csv,生成的文件不包含我指定的
我正在使用 FSharp.Data 中的 CsvProvider 在 F# 中读取 CSV 文件。有没有办法添加新的(计算的)列而不将其转换为全新的类型? open FSharp.Data type
我正在尝试将数据从 FSharp.Data.CsvProvider 传递到 Deedle.Frame。 我几乎是 F# 新手,我需要将一些 CSV 文件从文化“it-IT”转换为“en-US”,以便我
我无法使用 fslab 提供的 FSharp.Data csv 提供程序加载 csv 文件,包括示例 adwords.csv 文件。 下面这个错误是什么意思?此外,当我将鼠标悬停在 Visual St
前面的极端菜鸟学习问题:我有一个模块,我想在我的 C#(通用)应用程序中使用。 C# 应用程序将下载并解压缩一个包含 12 个始终遵循相同格式的 CSV 的文件。所以我所做的是提前下载 CSV,并将它
是否可以在 F# 中使用 CSVProvider 读取使用 gzip (tvs.gz) 压缩的 URL?我正在尝试使用此代码: type name = CsvProvider 但是,我收到了这个错误:
我是一名优秀的程序员,十分优秀!