elasticsearch - 通过子聚合进行Elasticsearch流水线-6ren

elasticsearch - 通过子聚合进行Elasticsearch流水线

转载作者：行者123 更新时间：2023-12-02 22:40:14

我正在尝试通过Elasticsearch 2.1中的子聚合来汇总数据。

通过流水线，我试图在子级父级上汇总子级子级数据:

{
  "query": {
    "match_all": {}
  },
  "aggs": {
    "unit": {
      "terms": {
        "size": 500,
        "field": "unit_id"
      },
      "aggs": {
        "total_active_ministers_by_unit": {
          "sum_bucket": {
            "buckets_path": "ministers>active_minister_by_ministry.value"
          }
        },
        "ministers": {
          "children": {
            "type": "member_ministry"
          },
          "aggs": {
            "active_minister_by_ministry": {
              "sum_bucket": {
                "buckets_path": "ministry>active_minister._count"
              }
            },
            "ministry": {
              "terms": {
                "field": "member_version",
                "size": 1,
                "order": {
                  "_term": "desc"
                }
              },
              "aggs": {
                "active_minister": {
                  "filter": {
                    "range": {
                      "ministry_date_start": {
                        "lte": "now/d",
                        "gte": "now-96M/M"
                      }
                    }
                  }
                },
                "ministry_type": {
                  "terms": {
                    "field": "ministry"
                  }
                }
              }
            }
          }
        }
      }
    }
  }
}

触发查询后，我从Rest API得到以下回答:

{
  "error": {
    "root_cause": [

    ],
    "type": "reduce_search_phase_exception",
    "reason": "[reduce] ",
    "phase": "fetch",
    "grouped": true,
    "failed_shards": [

    ],
    "caused_by": {
      "type": "illegal_argument_exception",
      "reason": "Cannot find an aggregation named [value] in [active_minister]"
    }
  },
  "status": 503
}

Elasticsearch Server控制台为我提供以下内容:

[2015-12-03 12:19:57,974][INFO ][rest.suppressed          ] /unit_member/unit/_search Params: {index=unit_member, type=unit}
Failed to execute phase [fetch], [reduce] 
    at org.elasticsearch.action.search.type.TransportSearchQueryThenFetchAction$AsyncAction$2.onFailure(TransportSearchQueryThenFetchAction.java:162)
    at org.elasticsearch.common.util.concurrent.AbstractRunnable.run(AbstractRunnable.java:42)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.IllegalArgumentException: Cannot find an aggregation named [value] in [active_minister]
    at org.elasticsearch.search.aggregations.bucket.InternalSingleBucketAggregation.getProperty(InternalSingleBucketAggregation.java:111)
    at org.elasticsearch.search.aggregations.InternalMultiBucketAggregation$InternalBucket.getProperty(InternalMultiBucketAggregation.java:98)
    at org.elasticsearch.search.aggregations.pipeline.BucketHelpers.resolveBucketValue(BucketHelpers.java:160)
    at org.elasticsearch.search.aggregations.pipeline.bucketmetrics.BucketMetricsPipelineAggregator.doReduce(BucketMetricsPipelineAggregator.java:74)
    at org.elasticsearch.search.aggregations.pipeline.SiblingPipelineAggregator.reduce(SiblingPipelineAggregator.java:68)
    at org.elasticsearch.search.aggregations.InternalAggregation.reduce(InternalAggregation.java:155)
    at org.elasticsearch.search.aggregations.InternalAggregations.reduce(InternalAggregations.java:170)
    at org.elasticsearch.search.aggregations.bucket.terms.InternalTerms$Bucket.reduce(InternalTerms.java:110)
    at org.elasticsearch.search.aggregations.bucket.terms.InternalTerms.doReduce(InternalTerms.java:220)
    at org.elasticsearch.search.aggregations.InternalAggregation.reduce(InternalAggregation.java:153)
    at org.elasticsearch.search.aggregations.InternalAggregations.reduce(InternalAggregations.java:170)
    at org.elasticsearch.search.controller.SearchPhaseController.merge(SearchPhaseController.java:409)
    at org.elasticsearch.action.search.type.TransportSearchQueryThenFetchAction$AsyncAction$2.doRun(TransportSearchQueryThenFetchAction.java:149)
    at org.elasticsearch.common.util.concurrent.AbstractRunnable.run(AbstractRunnable.java:37)
    ... 3 more

这是应该报告的错误吗？还是我以错误的方式处理管道？

这是我的映射:

"member_ministry": {
    "dynamic": "false",
    "_routing": {
      "required": true
    },
    "properties": {
      "date_ended": {
        "ignore_malformed": true,
        "format": "yyyy-MM-dd",
        "type": "date"
      },
      "birthday": {
        "ignore_malformed": true,
        "format": "yyyy-MM-dd",
        "type": "date"
      },
      "parent_path": {
        "index": "not_analyzed",
        "type": "string"
      },
      "forename": {
        "type": "string"
      },
      "ministry": {
        "index": "not_analyzed",
        "store": true,
        "type": "string"
      },
      "lastname": {
        "type": "string"
      },
      "unit_id": {
        "index": "not_analyzed",
        "store": true,
        "type": "string"
      },
      "ministry_date_start": {
        "ignore_malformed": true,
        "format": "yyyy-MM-dd",
        "type": "date"
      },
      "date_created": {
        "ignore_malformed": true,
        "format": "yyyy-MM-dd",
        "type": "date"
      },
      "ministry_date_end": {
        "ignore_malformed": true,
        "format": "yyyy-MM-dd",
        "type": "date"
      },
      "sealing_date": {
        "ignore_malformed": true,
        "format": "yyyy-MM-dd",
        "type": "date"
      },
      "ministry_unit_ids": {
        "index": "not_analyzed",
        "type": "string"
      },
      "member_id": {
        "index": "not_analyzed",
        "store": true,
        "type": "string"
      },
      "version_state": {
        "index": "not_analyzed",
        "type": "string"
      },
      "member_ministry_id": {
        "index": "not_analyzed",
        "type": "string"
      },
      "gender": {
        "index": "not_analyzed",
        "store": true,
        "type": "string"
      },
      "member_version": {
        "store": true,
        "type": "integer"
      },
      "client_id": {
        "index": "not_analyzed",
        "store": true,
        "type": "string"
      },
      "primary_ministry_id": {
        "index": "not_analyzed",
        "type": "string"
      }
    },
    "_parent": {
      "type": "unit"
    }
  },
  "unit": {
    "dynamic": "false",
    "properties": {
      "versions": {
        "properties": {
          "apostle_district_id": {
            "index": "not_analyzed",
            "store": true,
            "type": "string"
          },
          "date_ended": {
            "ignore_malformed": true,
            "format": "yyyy-MM-dd",
            "type": "date"
          },
          "unit_type_id": {
            "index": "not_analyzed",
            "store": true,
            "type": "string"
          },
          "parent_path": {
            "index": "not_analyzed",
            "store": true,
            "type": "string"
          },
          "sub_district_id": {
            "index": "not_analyzed",
            "store": true,
            "type": "string"
          },
          "district_id": {
            "index": "not_analyzed",
            "store": true,
            "type": "string"
          },
          "unit_id": {
            "index": "not_analyzed",
            "store": true,
            "type": "string"
          },
          "date_created": {
            "ignore_malformed": true,
            "format": "yyyy-MM-dd",
            "type": "date"
          },
          "bishop_district_id": {
            "index": "not_analyzed",
            "store": true,
            "type": "string"
          },
          "administration_id": {
            "index": "not_analyzed",
            "store": true,
            "type": "string"
          },
          "date_opened": {
            "ignore_malformed": true,
            "format": "yyyy-MM-dd",
            "type": "date"
          },
          "district_church_id": {
            "index": "not_analyzed",
            "store": true,
            "type": "string"
          },
          "district_apostle_helper_area_id": {
            "index": "not_analyzed",
            "store": true,
            "type": "string"
          },
          "international_church_id": {
            "index": "not_analyzed",
            "store": true,
            "type": "string"
          },
          "unit_type": {
            "index": "not_analyzed",
            "store": true,
            "type": "string"
          },
          "district_apostle_area_id": {
            "index": "not_analyzed",
            "store": true,
            "type": "string"
          },
          "unit_version": {
            "store": true,
            "type": "integer"
          },
          "client_id": {
            "index": "not_analyzed",
            "store": true,
            "type": "string"
          },
          "regional_administration_center_id": {
            "index": "not_analyzed",
            "store": true,
            "type": "string"
          }
        }
      },
      "unit_id": {
        "index": "not_analyzed",
        "store": true,
        "type": "string"
      }
    }

这是来自索引的最小数据集

单元

http://pastie.org/private/wippg2zfdrsiul5iaqiga

成员(member)部:

http://pastie.org/private/4xrnyeygnac5abcnwskg

最佳答案

我猜这是一个错误。

当我将这一部分取出来时:

        "total_active_ministers_by_unit": {
           "sum_bucket": {
              "buckets_path": "ministers>active_minister_by_ministry.value"
           }
        },

我得到了这些结果:

{
   "took": 5,
   "timed_out": false,
   "_shards": {
      "total": 1,
      "successful": 1,
      "failed": 0
   },
   "hits": {
      "total": 8,
      "max_score": 0,
      "hits": []
   },
   "aggregations": {
      "unit": {
         "doc_count_error_upper_bound": 0,
         "sum_other_doc_count": 0,
         "buckets": [
            {
               "key": "3a7d74d8bfc6b841",
               "doc_count": 3,
               "ministers": {
                  "doc_count": 2,
                  "ministry": {
                     "doc_count_error_upper_bound": 0,
                     "sum_other_doc_count": 1,
                     "buckets": [
                        {
                           "key": 2,
                           "doc_count": 1,
                           "active_minister": {
                              "doc_count": 1
                           },
                           "ministry_type": {
                              "doc_count_error_upper_bound": 0,
                              "sum_other_doc_count": 0,
                              "buckets": [
                                 {
                                    "key": "District Evangelist",
                                    "doc_count": 1
                                 }
                              ]
                           }
                        }
                     ]
                  },
                  "active_minister_by_ministry": {
                     "value": 1
                  }
               }
            },
            {
               "key": "3a7d74e834bbc0d6",
               "doc_count": 2,
               "ministers": {
                  "doc_count": 1,
                  "ministry": {
                     "doc_count_error_upper_bound": 0,
                     "sum_other_doc_count": 0,
                     "buckets": [
                        {
                           "key": 2,
                           "doc_count": 1,
                           "active_minister": {
                              "doc_count": 1
                           },
                           "ministry_type": {
                              "doc_count_error_upper_bound": 0,
                              "sum_other_doc_count": 0,
                              "buckets": [
                                 {
                                    "key": "Apostle",
                                    "doc_count": 1
                                 }
                              ]
                           }
                        }
                     ]
                  },
                  "active_minister_by_ministry": {
                     "value": 1
                  }
               }
            },
            {
               "key": "3a7b3abb09bfec65",
               "doc_count": 1,
               "ministers": {
                  "doc_count": 0,
                  "ministry": {
                     "doc_count_error_upper_bound": 0,
                     "sum_other_doc_count": 0,
                     "buckets": []
                  },
                  "active_minister_by_ministry": {
                     "value": 0
                  }
               }
            },
            {
               "key": "3a7d707e45c8dc24",
               "doc_count": 1,
               "ministers": {
                  "doc_count": 0,
                  "ministry": {
                     "doc_count_error_upper_bound": 0,
                     "sum_other_doc_count": 0,
                     "buckets": []
                  },
                  "active_minister_by_ministry": {
                     "value": 0
                  }
               }
            },
            {
               "key": "3a7d70975c84428c",
               "doc_count": 1,
               "ministers": {
                  "doc_count": 0,
                  "ministry": {
                     "doc_count_error_upper_bound": 0,
                     "sum_other_doc_count": 0,
                     "buckets": []
                  },
                  "active_minister_by_ministry": {
                     "value": 0
                  }
               }
            }
         ]
      }
   }
}

但是，尝试在父子关系之间进行管道传输会导致错误。

除非我缺少某些东西，否则应该将其报告为错误。

这是我用来测试的代码:

http://sense.qbox.io/gist/075732dfe51916538ff13ea76a2cec1f7532c691

关于elasticsearch - 通过子聚合进行Elasticsearch流水线，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/34064760/

文章推荐： java - 比较字节时，提取的音频样本是否应包含在其原始源中？

文章推荐： c# - USB 中继单元编程

文章推荐： c# - ASP :button Return behaviour

文章推荐： android - Howler JS 2.0-Cordova，Android，设备上未播放声音

jQuery 子>父>子
我有这个 html 代码: HELLO WORLD! X V HELLO WORLD! X V 我想按 X(类关闭)将父 div 的高度更改为 20px 并显示 V(类打开)，但在每个 d
database-design - 在数据库中存储(子)日志和(子)分类帐以用于会计应用程序
在会计应用程序的许多不同实现中，有两种主要的数据库设计方法来保存日志和分类帐数据。只保留 Journal 信息，然后 Ledger 只是 Journal 的一个 View (因为 journal 总
子里面的 Perl 子
我想在另一个子里面有一个子， sub a { sub b { } } 我想为每次调用 sub b 创建一个新的 sub a 实例。有没有办法在 Perl 中做到这一点？当我运行上面的
excel - 查找重复项和重命名主/子
我有一些代码正在查找重复项并突出显示单元格: Private Sub cmdDups_Click() Dim Rng As Range Dim cel As Range Set Rng = ThisW
delphi - 子表中具有替代链接字段的主/子
可能有一个简单的解决方案，但我很难过。我有一个包含一个 ID 字段的主表。在两个可能的字段中有一个具有该 ID 的子表。想象一个由选手 A 和选手 B 组成的 double 队。Master 表将有
javascript - 将相关元素嵌套在一起父/子
假设我有一个包含对象的数组: [ { "id": "5a97e047f826a0111b754beb", "name": "Hogwarts", "parentId": "
mysql - 同时批量插入父/子
我正在尝试对 MySQL 数据库表执行一对父/子模型的批量插入，但似乎无法使用标准的 ActiveRecord 功能来完成。所以，我尝试了 activerecord-import gem，但它也不支持
c# - 子/父事件引发
我有一个带有多个子类的父抽象类。最终，我希望通过 GUI 中的进度条显示子类中完成的进度。我目前所做的，我意识到这是行不通的，是在父类中声明为每个子类将覆盖的虚拟方法的事件方法定义。所以像: pub
Javascript(子)对象通过键数组访问
是否可以通过键数组在对象中设置变量？例如我有这个对象: var obj = {'outer': {'inner': 'value'} }; 并希望设置由键数组选择的值: var keys = ['ou
mysql - 具有多个级别的多重关系父/子
我有一个名为 companies 的 MySQL 表，如下所示: +---------+-----------+-----------+ | id_comp | comp_name | id_pare
linux - 子。命令在终端上不起作用
我正在尝试使用 sublime text 在 sublime text 上的 ionic 上打开我的第一个应用程序。它给了我一个“找不到命令”的错误。如何修复？我试过这些命令: sudo rm -r
Python 共享属性父/子
不好意思问，但我正在使用 webapp2，我正在设计一个解决方案，以便更容易定义路由 based on this google webapp2 route function .但这完全取决于能够在子级
c++ - 获取用数字字符串表示的树中的所有直接父/子
我有代表树的数字字符串(我不知道是否有官方名称): 012323301212 上面的例子代表了 2 棵树。根用 0 表示。根的直接子代为“1”，“1”的直接子代为“2”，依此类推。我需要将它们分组到由
Android ==> 子 Activity ？
是否可以在当前 Activity 之上添加 Activity 。例如，假设我单击一个按钮，然后它将第二个 Activity 添加到当前 Activity 。而第二个 Activity 只覆盖了我当前
REST 子/子资源单个实体
我很难思考如何为子资源建模。以作者的书籍为例。你可以有 N 本书，每本书只有一位作者。 /books GET /books POST /books/id PUT /books/id DELETE 到
Python:(子)字符串等价与列表快速成员资格测试
有人可以向我解释以下内容(python 2.7) 来自已解析文件的两个字符串数字: '410.9''410.9 '(注意尾随空格) A_LIST = ['410.9 '] '410.9' in '41
.net - 是否存在指定的(子)索引分隔符？
背景在 PowerShell 中构建 hash table 是很常见的通过特定属性快速访问对象，例如以 LastName 为基础建立索引: $List = ConvertFrom-Csv @' I
polymer - 子 Web 组件的调用方法
我真的很难弄清楚如何调用嵌套 Polymer Web 组件的函数。这是标记: rise-distribution组件有 canPlay我想从 rise-playlist
graphviz - 具有大(子)集群的图形的隐点错误消息
我写了一个小工具转储(以 dot 格式)一个项目的依赖关系图，其中所有位于同一目录中的文件都聚集在一个集群中。当我尝试生成包含相应图形的 pdf 时，dot开始哭: 命令 dot -Tpdf trim
perl - 如何通过指定其解析树来创建 perl 子？
给定一个 CODE ref，是否可以: 访问该 CODE ref 的解析树通过指定 CODE ref 的解析树来创建一个新的 CODE ref，该解析树可以包含在 1 中返回的解析树的元素通常我们

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

elasticsearch - 通过子聚合进行Elasticsearch流水线