php - 如何以最快的方式导入数据进行分析

Question

我只是有一个问题，哪种方式可以提高性能并且更容易完成。我们有一个包含超过 120000 个数据行的数据库，该数据库存储在数据库中。这些数据当前作为 CSV 文件导出到 ftp 位置。

现在从这个 csv 文件中应该创建一个网络表单来过滤数据集。关于绩效和待办事项，您有何建议？我应该解析 csv 文件并将信息输出到网页还是应该将 csv 文件重新导入数据库(MySQL)并使用 SQL 查询来过滤数据(注意:原始数据库和导出与网页/网络表格。)

无法直接连接到原始服务器上的数据库。我更喜欢将它重新上传到数据库，因为它使开发更容易，我只需要根据在网络表单中输入的过滤条件创建 SQL 查询并运行它。

有什么想法吗？

谢谢...世界标志

Answer 1

数据库无疑是最好的答案。由于您希望使用 Web 表单来分析结果并执行复杂的查询，因此其他替代方案可能会在服务器处理时间方面证明非常昂贵，并且更难以实现。毕竟，一方面您拥有为您处理所有过滤细节的 SQL，另一方面您必须自己实现一些东西。

我会建议，从性能方面考虑，您为您知道将用作标准的所有字段创建索引，并部分显示结果，比如每页 50 个，以最大限度地减少加载时间。