php - 用于在网页中解析的大型数据集

Question

我有一个包含大约 600,000 个值的大型数据集，需要为 Web 应用程序即时进行比较、交换等。必须加载整个数据，因为某些计算需要跳过值、乱序比较等。

但是，每个值只有1个字节

我考虑过将它加载为一个巨大的 JSON 数组，但这个页面让我觉得这可能无法可靠地工作:http://www.ziggytech.net/technology/web-development/how-big-is-too-big-for-json/

与此同时，强制服务器为每个请求加载所有内容会浪费服务器资源，因为客户端可以轻松地进行数字运算。

所以我想我的问题是:

1) 这是否可以在 jQuery/Javascript 中可靠地完成，如果可以，怎么做？

2) 如果 jQuery/Javascript 不是更好的选择，那么在 PHP 中执行此操作的最佳方法是什么(通过 include 读取文件还是巨型数组？)

谢谢!

Answer 1

我知道 Apache Cordova 可以进行 sql 查询。

http://docs.phonegap.com/en/2.7.0/cordova_storage_storage.md.html#Storage

我知道它是 PhoneGap，但它适用于桌面浏览器(至少我用于手机应用程序开发的所有浏览器)

所以我的建议是:

在每个用户的本地 Cordova 数据库中镜像您的数据库，然后运行您想要的所有 sql 查询!

一些提示:- 通过 JSON 将数据从您的服务器传输到 webapp- 将数据请求分解为几个部分。这样你就可以很容易地提供一个进度条而不是等待整个数据库下载- 创建一个包含一个条目的表，该条目保留数据库的当前版本，在发送所有数据之前检查此表。并在每次您想“强制”更新时更改它。这使用户数据库保持最新并降低带宽

如果您需要朝正确的方向插入，我之前已经这样做过。