php - 在搜索中使用 mysql 和 php 处理大量数据

Question

我正在制作一个汽车零件系统，将所有零件存储在mysql中，然后搜索它们。

添加部分的过程如下:您选择最多 280 个零件并添加所有汽车信息，然后将所有零件序列化并与所有汽车信息一起放入 mysql 中。

(对于这个例子，我会说我当前的数据库有 1000 辆汽车，所有这些汽车都选择了 280 个零件)

问题是，当我有 1000 辆汽车，每辆汽车有 280 个零件时，php 和 mysql 开始变慢，并且需要大量时间来加载数据，因为零件数量为 1000*280=280 000。

我在所有汽车上使用 foreach，然后将每个部分放入另一个数组中。最终数组有 280 000 个项目，然后我通过搜索中选定的部分对其进行过滤，因此在 28 000 个部分中，它可能只需要打印大约 12 500 个部分(如果有人同时搜索 50 个不同的部分) 250 辆汽车有该部件)。

示例数据库:http://pastebin.com/aXrpgeBP

$q=mysql_query("SELECT `id`,`brand`,`model`,`specification`,`year`,`fueltype`,`capacity`,`parts`,`parts_num` FROM `warehouse`");
    while($r=mysql_fetch_assoc($q)){
        $partai=unserialize($r['parts']);
        unset($r['parts']); //unsetting unserialized parts so the whole car parts won't be passed into the final parts-only array
        foreach($partai as $part){
        $r['part']=$parttree[$part]; //$parttree is an array with all the part names and $part is the part id - so this returns the part name by it's id.
        $r['part_id']=$part; // saves the part id for later filtering selected by the search
        $final[]=$r;
        }
    }

            $selectedparts=explode('|', substr($_GET['selected'], 0,strlen($_GET['selected'])-1)); //exploding selected part ids from data sent by jquery into an array

    foreach($final as $f){
        if(in_array($f['part_id'], $selectedparts)){
            $show[]=$f; //filtering only the parts that need to be shown
        }
    }

    echo json_encode($show);

这是我用来将所有汽车零件放入数组中并将其作为 json 发送到浏览器的代码。

我目前没有处理分页，但稍后我会添加它以仅显示 10 个部分。

解决方案是否可以24小时将所有部分索引到不同的表中(因为每天都会添加新部分)，然后只强调mysql而不是php？因为 php 现在正在做所有艰苦的工作。

或者使用memcached之类的东西来存储最终未过滤的数组24小时一次，然后只过滤需要用php显示的部分？

这些是我考虑过的选项，但我知道必须有更好的方法来解决这个问题。

Answer 1

是的，你绝对应该更加重视MySQL。不要将每辆车的零件序列化为单行单列。这是非常低效的。

相反，您可以为自己创建一个零件表，其中包含描述每个零件的各种数据项的列。

   part_id     an autoincrement item.
   car_id      which car is this a part of
   partnumber  the part's external part number (barcode number?)
   etc

然后，使用 JOIN 操作。

另外，为什么不在 SELECT 语句中使用 WHERE 子句来检索您想要的汽车？

编辑

如果您正在寻找零件，您肯定需要一个单独的零件表。然后你可以执行类似这样的 SQL 搜索。

  SELECT w.id, w.model, w.specification, w.year, w.fueltype,
         p.partnumber
    FROM warehouse w
    JOIN parts p ON (w.id = p.car_id)
   WHERE p.partnumber = 'whatever-part-number-you-want'

如果索引正确，即使您的系统中有 10 万辆汽车，这也需要几毫秒的时间。