python - 重新索引elasticsearch api超时，文档大小较大

Question

这个问题已经有答案了:

Elasticsearch reindex error - client request timeout (2 个回答)

已关闭 3 年前。

我正在从 python 重新索引一个索引，但文档大小很大(6gig)并且需要 60 分钟，所以我在 api 中超时。

代码:

def Reindex(src, dest):
    query = {

        "source": {
            "index": src,
            "query": {
                "range": {
                    "UTC_date": {
                        "lt": "now-15d/d"
                    }
                }
            }
        },
        "dest": {
            "index": dest
        }
    }
    Query = {
        "query": {
            "range": {
                "UTC_date": {
                    "lt": "now-15d/d"
                }
            }
        }
    }

    try:
        result = es.reindex(query, wait_for_completion=True, request_timeout=300)
    except:
        pass

Answer 1

我找到了解决方案。因为我重新索引 6gig 需要更多时间，所以我增加了超时时间，现在它可以工作了

def Reindex(src, dest):
    print("[X] START Reindex")
    query = {

        "source": {
            "index": src,
            "query": {
                "range": {
                    "UTC_date": {
                        "lt": "now-1d/d"
                    }
                }
            }
        },
        "dest": {
            "index": dest
        }
    }
    Query = {
        "query": {
            "range": {
                "UTC_date": {
                    "lt": "now-1d/d"
                }
            }
        }
    }

    try:
        result = es.reindex(query, wait_for_completion=True, request_timeout=10000,conflicts="proceed")
        print(result)
        log_dict = {}
        log_dict['total']=result['total']
        log_dict['created']=result['created']
        log_dict['updated']=result['updated']
        log_dict["Timestamp"] = datetime.datetime.now().strftime("%Y-%m-%dT%H:%M:%S")
        if log_dict['total']==(log_dict['created']+log_dict['updated']):
            print("gggggg")
            log_dict['status'] = 'success'
            Delete(src)
        else:
            log_dict['status'] = 'failure'
        access_logger.info(json.dumps(log_dict))