php - 在 PHP 中处理内存数据

Question

我正在编写一个 PHP 框架，可用于可视化大量数据。我无法将所有数据提取到内存中并对其进行处理(如排序、过滤等)。所以我有一个 sql 查询生成器，它构造 sql 查询并将所有处理部分推送到 sql 服务器。有什么办法可以用 PHP 做到这一点吗？或者是否有某种可用的 C 库以二进制形式存储数据并减少处理时的内存使用量？

Answer 1

我在 PHPExcel 中大量使用缓存引擎(使用 APC、对象序列化、php://temp、磁盘存储、内存 SQLite、memcache 和其他选项)，它可以处理大量数据(数百万) )的细胞对象。问题是通过尽可能多地考虑 PHP 的有限内存来减少内存开销，同时尝试保持合理的执行速度:任何在 PHP 内存之外存储数据的单元缓存都将不可避免地增加执行速度开销。

使用 igbinary 进行数据序列化是一个很好的权衡，但您仍然可能会遇到内存限制。它与 PHP 内置的序列化速度差不多，但在压缩数据方面效率更高。

我想说尽可能多地处理数据库，因为数据库就是为此类工作而设计的。