gpt4 book ai didi

解析大文件

转载 作者:行者123 更新时间:2023-12-02 14:23:12 25 4
gpt4 key购买 nike

我必须解析文件

  • 日志(5GB)
  • 错误日志(1GB)
  • 导入数据文件 (csv) (400mb)
  • 备份数据(10GB)

等等...

我的第一个想法是在 php 中解析这些文件,然后删除我不需要的文件并将它们保存到我的数据库中。对于导入文件,它运行正常,因为它很小

但是当我想检查备份数据时,php 失败并停止(我收到不同的错误,例如内存错误)

我想知道解析和导入这些大文件的最佳方法是什么,最好是,我想要 1 个脚本来管理所有这些文件。我的php脚本可以处理吗?或者我应该做点别的事情?

最佳答案

fread 非常有用 http://php.net/manual/en/function.fread.php

它将逐行解析,以便一次只有一行或最多 X 个字节在内存中。

关于解析大文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8541978/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com