elasticsearch - 为什么Elasticsearch快照统计数字number_of

elasticsearch - 为什么Elasticsearch快照统计数字number_of_files与实际索引数不同？

转载作者：行者123 更新时间：2023-12-03 01:56:35

我有一个名为traces_v2的索引，别名为traces，带有5M文档。

我做了GET /_snapshot/s3_repository/snapshot_traces_250316/_status，两分钟后状态为:

{
   "snapshots": [
      {
         "snapshot": "snapshot_traces_250316",
         "repository": "s3_repository",
         "state": "SUCCESS",
         "shards_stats": {
            "initializing": 0,
            "started": 0,
            "finalizing": 0,
            "done": 8,
            "failed": 0,
            "total": 8
         },
         "stats": {
            "number_of_files": 185,
            "processed_files": 185,
            "total_size_in_bytes": 654459334,
            "processed_size_in_bytes": 654459334,
            "start_time_in_millis": 1458898771760,
            "time_in_millis": 81226
         },
         "indices": {
            "aliases": {
               "shards_stats": {
                  "initializing": 0,
                  "started": 0,
                  "finalizing": 0,
                  "done": 5,
                  "failed": 0,
                  "total": 5
               },
               "stats": {
                  "number_of_files": 5,
                  "processed_files": 5,
                  "total_size_in_bytes": 795,
                  "processed_size_in_bytes": 795,
                  "start_time_in_millis": 1458898819263,
                  "time_in_millis": 1491
               },
               "shards": {
                  "0": {
                     "stage": "DONE",
                     "stats": {
                        "number_of_files": 1,
                        "processed_files": 1,
                        "total_size_in_bytes": 159,
                        "processed_size_in_bytes": 159,
                        "start_time_in_millis": 1458898820308,
                        "time_in_millis": 110
                     }
                  },
                  "1": {
                     "stage": "DONE",
                     "stats": {
                        "number_of_files": 1,
                        "processed_files": 1,
                        "total_size_in_bytes": 159,
                        "processed_size_in_bytes": 159,
                        "start_time_in_millis": 1458898820674,
                        "time_in_millis": 80
                     }
                  },
                  "2": {
                     "stage": "DONE",
                     "stats": {
                        "number_of_files": 1,
                        "processed_files": 1,
                        "total_size_in_bytes": 159,
                        "processed_size_in_bytes": 159,
                        "start_time_in_millis": 1458898819263,
                        "time_in_millis": 101
                     }
                  },
                  "3": {
                     "stage": "DONE",
                     "stats": {
                        "number_of_files": 1,
                        "processed_files": 1,
                        "total_size_in_bytes": 159,
                        "processed_size_in_bytes": 159,
                        "start_time_in_millis": 1458898819617,
                        "time_in_millis": 108
                     }
                  },
                  "4": {
                     "stage": "DONE",
                     "stats": {
                        "number_of_files": 1,
                        "processed_files": 1,
                        "total_size_in_bytes": 159,
                        "processed_size_in_bytes": 159,
                        "start_time_in_millis": 1458898819916,
                        "time_in_millis": 86
                     }
                  }
               }
            },
            "traces_v2": {
               "shards_stats": {
                  "initializing": 0,
                  "started": 0,
                  "finalizing": 0,
                  "done": 3,
                  "failed": 0,
                  "total": 3
               },
               "stats": {
                  "number_of_files": 180,
                  "processed_files": 180,
                  "total_size_in_bytes": 654458539,
                  "processed_size_in_bytes": 654458539,
                  "start_time_in_millis": 1458898771760,
                  "time_in_millis": 81226
               },
               "shards": {
                  "0": {
                     "stage": "DONE",
                     "stats": {
                        "number_of_files": 58,
                        "processed_files": 58,
                        "total_size_in_bytes": 213816982,
                        "processed_size_in_bytes": 213816982,
                        "start_time_in_millis": 1458898814476,
                        "time_in_millis": 38510
                     }
                  },
                  "1": {
                     "stage": "DONE",
                     "stats": {
                        "number_of_files": 55,
                        "processed_files": 55,
                        "total_size_in_bytes": 253988996,
                        "processed_size_in_bytes": 253988996,
                        "start_time_in_millis": 1458898771760,
                        "time_in_millis": 47244
                     }
                  },
                  "2": {
                     "stage": "DONE",
                     "stats": {
                        "number_of_files": 67,
                        "processed_files": 67,
                        "total_size_in_bytes": 186652561,
                        "processed_size_in_bytes": 186652561,
                        "start_time_in_millis": 1458898771760,
                        "time_in_millis": 42340
                     }
                  }
               }
            }
         }
      }
   ]
}

状态为SUCCESS，但统计数据显示已快照了180个文档(超过5M!)。是那些真实的文档或某种内部包含数百万个文档的文件夹吗？

最佳答案

索引存储在磁盘上的物理文件中。number_of_files表示包含该数据的文件总数，而不是实际的文档数。

一个文件可能包含很多文档。例如，就您而言，每个文件可能平均包含5M / 180个文档，尽管不能保证每个文件都包含相同数量的文档。

如果您进一步研究细节，它包含分片明智文件的分解，即包含与一个分片相对应的数据的总数。

关于elasticsearch - 为什么Elasticsearch快照统计数字number_of_files与实际索引数不同？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/36217877/

文章推荐： elasticsearch - IndexTemplate 仅将别名分配给新创建的索引

文章推荐： javascript - 在 Javascript 上立即播放声音(无需等待完成)

文章推荐： php -

文章推荐： elasticsearch - 规范化 Elasticsearch 查询/结果

html - Z 索引 - 滑动过渡重叠有没有办法创建动态 z 索引？
这几天我一直在努力。我一直在自学 CSS，所以对菜鸟好一点。我正在创建一个推荐 slider 。推荐以 3 个 block 显示。我希望前 2 个下降，第 3 个上升。但是当 slider 激活时，无
node.js - 索引.ejs VS 索引.html
我最近开始学习 Nodejs，现在我很困惑我的网络应用程序使用什么，html 还是 ejs (Express)。 Ejs 使用 Express 模块，而 .html 使用 HTML 模块。我的第一个问
sql - 跨两列/数组的 PostgreSQL 搜索/索引(GIN 索引？)
假设我们有一个 PostgreSQL 表contacts，每条记录都有一堆带标签的电子邮件地址(标签和电子邮件对)——其中一个是“主要”。存储方式如下: id 主键电子邮件文本 email_la
Tesseract 索引 >= 0 && 索引 < size_used_ :Error:Assert failed Error
我成功为一种新的tesseract语言编写了traineddata文件，但是当我完成时，我继续收到以下错误: index >= 0 && index = 0 && 索引 < size_used_ :E
python - .loc[索引, 列] 和 .loc[索引][列] 之间有什么区别？
这个问题已经有答案了: How to deal with SettingWithCopyWarning in Pandas (21 个回答) 已关闭 4 年前。假设我有一个像这样的数据框，第一列“密
Android - 从位置 A(索引)检查位置 B(索引)是否在 GridView 布局中与它成对角线，而不管是否接近
如果我有一个位置或行/列同时用于 A 和 B 位置，请检查 B 是否与 A 成对角线？ 1 2 3 4 5 6 7 8 9 例如，我如何检查 5 是否与 7 成对角线？此外，如果我检查 4 是
MongoDB：索引
MongoDB：索引一、创建索引默认情况下，集合中的_id字段就是索引，我们可以通过getIndexes()方法来查看一个集合中的索引 > db.user.getIndexes() [ { "v
MongoDB——索引
一、索引介绍索引是一种用来快速查询数据的数据结构。 B+Tree就是一种常用的数据库索引数据结构，MongoDB采用B+Tree 做索引，索引创建在colletions上。 MongoDB不使用索引
SQLite 索引
我无法决定索引。就像我有下面的查询需要太多时间来执行: select count(rn.NODE_ID) as Count, rnl.[ISO_COUNTRY_CODE] as Cou
MySQL查询优化——索引
我有这些表: CREATE TABLE `cstat` ( `id_cstat` bigint(20) NOT NULL, `lang_code` varchar(3) NOT NULL,
mysql表性能升级(索引
我正在尝试找到一种方法来提高包含 IP 范围的 mysql 表的性能(在高峰时段每秒最多有 500 个 SELECT 查询(!)，所以我有点担心)。我有一个这种结构的表: id smallint(
jquery 索引()
jquery index() 似乎无法识别元素之一，总是说“无法读取未定义的属性‘长度’”这是我的代码。mnumber 是导致问题的原因。我需要 number 和 mnumber 才能跟踪使用鼠标，并
MongoDB 索引
我们有一个包含近 4000 万条记录的 MongoDB 集合。该集合的当前大小为 5GB。此集合中存储的数据包含以下字段: _id: "MongoDB id" userid: "user id" (i
MongoDB 索引
文档说:如果你有多个字段的复合索引，你可以用它来查询字段的开始子集。所以如果你有一个索引一个，乙，丙你可以用它查询一种一个，乙a,b,c 我的问题是，如果我有一个像这样的复合索引一个，乙，丙我可以查询
jQuery .each() 索引？
我正在使用 $('#list option').each(function(){ //do stuff }); 循环列表中的选项。我想知道如何获取当前循环的索引？因为我不想让 var i = 0;循
快速了解MySQL 索引
MySQL索引的建立对于MySQL的高效运行是很重要的，索引可以大大提高MySQL的检索速度。打个比方，如果合理的设计且使用索引的MySQL是一辆兰博基尼的话，那么没有设计和使用索引的MySQL
18、SQLite 索引
SQLite 索引（Index）索引（Index）是一种特殊的查找表，数据库搜索引擎用来加快数据检索。简单地说，索引是一个指向表中数据的指针。一个数据库中的索引与一本书后边的索引是非常相似的。
RavenDB MultiMap 索引
我是 RavenDB 的新手。我正在尝试使用多 map 索引功能，但我不确定这是否是解决我的问题的最佳方法。所以我有三个文件:Unit、Car、People。汽车文件看起来像这样: { Id: "
基于标准的 Excel 索引
我有以下数据，我想根据范围在另一个表中建立索引我想要实现的是，例如，如果三星的销售额为 2500，则折扣为 2%，低于 3000 且高于 1000 我知道它可以通过索引来完成，与多个数组匹配，然后指
SQL 索引 - 这是重叠的吗？
我正在检查并删除 SQL 数据库中的重复和冗余索引。所以如果我有两个相同的索引，我会删除。例如，如果我删除了重叠的索引... 索引1:品牌、型号指标二:品牌、型号、价格我删除索引 1。相同顺

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

elasticsearch - 为什么Elasticsearch快照统计数字number_of_files与实际索引数不同？