javascript - jQuery爬虫大对象/$.each/Ajax IN然后Ajax OU

Question

我正在用 jQuery 构建一个有趣的爬虫...但是最后一步遇到了问题，即获取一些 ajax 内容，探索它，然后使用 ajax 保存结果。

这是该对象的示例:

finalResult = [];

links = {
    categorie1:{
        categorie2:{
            categorie3:{
                products:{
                    link1,...,linkN
                    //get the content url with ajax
                        ajaxCall(link);
                    //load the content into an hidden div
                        ajaxSuccess(data);
                    //parse the content with selectors
                        myProduct = data.find(selectors).do();
                    //put all the infos into an object
                        finalResult.push(myProduct);
                }
            }
        }    
    }
}

正如你所猜测的，我将访问每个内部每个内部的链接等等......有 5500 个链接，非常多。

然后，当我的 5500 个循环完成后，我想使用 ajax 将对象 FinalResult 发送到 php 页面来记录所有这些产品。

一切正常，直到我访问超过 3500 个产品，然后我的浏览器就会崩溃或变得非常慢并且没有响应。

所以我想每 50 次迭代保存一次 FinalProducts，然后执行以下 50 次等等...等等。通过这种方式，我认为操作更小的对象会更容易。

但我不知道该怎么做...有什么想法吗？

谢谢大家，

Answer 1

我有一些不同的方法来解决这个问题。

既然，你已经有了你的 JSON。只需使用 JSON.stringify() 对整个 JSON 进行字符串化即可。

然后根据链接进行拆分。将所有链接连接到一个变量中。对整个 Strigified 数据执行此操作。最后发出 AJAX 请求。