elasticsearch - 超过 SwifType 速率限制

Question

我目前有一个模拟账户。我正在尝试为我的雇主使用 SwifType 制作 POC。我们有一个非常大的数据库，每 1 小时索引一次，并创建一个 JSON 文件。我认为与 Elastic 的集成将非常容易，因为它只是在生成字符串时发送字符串的问题。我使用 PHP Curl 并获得了与 API 的连接。代码发送出部分数据，然后出现“超出速率限制”错误。

如何解决该错误并获得完整的 JSON 索引？

我的代码现在看起来像这样:

// SENDING DATA TO ELASTIC SEARCH
$arr = array_change_key_case($arr, CASE_LOWER); // Keys to lower case
$arrlist = array_chunk($arr,100); // Split to chunks of 100
foreach($arrlist as $key=>$arr){
    $json = json_encode($arr); // Making the JSON string from the array
    $ch = curl_init('https://host-***.api.swiftype.com/api/as/v1/engines/***/documents');                                                                      
    curl_setopt($ch, CURLOPT_POST, 1);                                                                     
    curl_setopt($ch, CURLOPT_POSTFIELDS, $json);                                                                  
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);      
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);                                                                
    $headers = array();
    $headers[] = 'Content-Type: application/json';
    $headers[] = 'Authorization: Bearer private-***';
    curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

    $result = curl_exec($ch);
    if (curl_errno($ch)) {
        echo 'Error:' . curl_error($ch);
    }
    curl_close($ch);

    echo $result."<hr>";
}

另外，考虑到这段代码每小时都会被索引，如果我一遍又一遍地发送相同的数据，它会更新前一个还是复制它？如果是这样，我该如何管理？

Answer 1

您需要查看 X-RateLimit-Remaining标题(见详情 here )当它达到 0(或接近它)或当你收到 429 响应时，你 sleep()然后重试。我建议使用 exponential backoff如果您连续收到多个 429 响应(每次收到 429 时 sleep 时间加倍，请求成功时将其重置为默认值)。