csv - 处理大型 CSV 文件的程序

Question

就目前而言，这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持，但这个问题可能会引起辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visit the help center为指导。




8年前关闭。




有没有什么好的程序可以处理读取大型 CSV 文件？我处理的一些数据文件在 1 GB 范围内。他们有太多行让 Excel 无法处理。使用 Access 可能有点慢，因为您必须实际将它们导入数据库才能直接使用它们。是否有程序可以打开大型 CSV 文件并为您提供简单的电子表格布局，以帮助您轻松快速地浏览数据？

Answer 1

MySQL 可以使用 LOAD DATA INFILE 非常快速地将 CSV 文件导入到表中。命令。它还可以直接从 CSV 文件中读取，绕过任何导入过程，使用 CSV storage engine .

使用 LOAD DATA INFILE 将其导入 native 表有启动成本，但之后你可以 INSERT/UPDATE更快，以及索引字段。开始使用 CSV 存储引擎几乎是即时的，但只有顺序扫描会很快。

更新 :This article (向下滚动到标题为“即时数据加载”的部分)讨论了使用这两种方法将 CSV 数据加载到 MySQL 上，并给出了示例。