个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
25
4
我们在 AWS 上有 ElasticSearch (1.5)(t2.micro，2 个实例，每个实例具有 10GB SSD 存储)和一个具有约 450K 相当大/复杂实体的 MySQL。
我正在使用 python 从 MySql 读取数据，序列化为 JSON 并放入 ElasticSearch。有 10 个线程同时工作，每个线程同时 PUT 大量 1000 个文档。
总共约 450K (1.3GB) 文档，处理并发送到 ElasticSearch 需要大约 20 分钟。
问题是只有大约 85% 的内容被索引，其余的都丢失了。当我将文档数量减少到约 100K 时，它们都会被索引。
查看 ElasticSearch AWS 监视器，我可以看到索引时 CPU 达到 100%，但没有给出任何错误。
在这里找到瓶子的最佳方法是什么？我想要快速但又不能丢失任何文件。
编辑。我每隔几分钟再次运行它检查/_cat/thread_pool?v 的输出。在 441400 中索引了 390805。在下面的 thread_pool 中:
host ip bulk.active bulk.queue bulk.rejected index.active index.queue index.rejected search.active search.queue search.rejected
<host> x.x.x.x 1 22 84 0 0 0 0 0 0
<host> x.x.x.x 1 11 84 0 0 0 0 0 0
<host> x.x.x.x 1 29 84 0 0 0 0 0 0
<host> x.x.x.x 1 13 84 0 0 0 0 0 0
<host> x.x.x.x 0 0 84 0 0 0 0 0 0
<host> x.x.x.x 1 17 84 0 0 0 0 0 0
<host> x.x.x.x 0 0 84 0 0 0 0 0 0
编辑2
host ip bulk.active bulk.queue bulk.rejected index.active index.queue index.rejected search.active search.queue search.rejected
<host> x.x.x.x 0 0 84 0 0 0 0 0 0
编辑3
$ curl https://xxxxx.es.amazonaws.com/_cat/thread_pool?v&h=id,host,ba,bs,bq,bqs,br,bl,bc,bmi,bma
[1] 15896
host ip bulk.active bulk.queue bulk.rejected index.active index.queue index.rejected search.active search.queue search.rejected
<host> x.x.x.x 0 0 84 0 0 0 0 0 0
^^ 复制/粘贴我要返回的内容
编辑4
$ curl 'https://xxxxx.es.amazonaws.com/_cat/thread_pool?v&h=id,host,ba,bs,bq,bqs,br,bl,bc,bmi,bma'
<html><body><h1>400 Bad request</h1>
Your browser sent an invalid request.
</body></html>
还是没有
编辑5
id host ba bs bq bqs br bmi bma bl br bc
n6Ad <host> 0 1 0 50 84 1 1 1 84 25821
当我改变参数的顺序时，它以某种神秘的方式工作
最佳答案
我怀疑 EC2 是您的瓶颈。基于the way burstable instances are allocated CPU ，t2.micro 每小时可累积 6 个 cpu 积分。
因此，在启动的第一个小时内，您的 Elasticsearch 节点将能够以 100% 的速度运行一个 vCPU 最多 6 分钟，然后才会被“限制”在未指定的较低资源分配(假设小于实例配额(vCPU 的 10%)。
Elasticsearch 在索引过程中很可能会受到 CPU 限制。如果索引进程发送批量请求的速度快于实例摄取的速度(由于 CPU 限制...在配额内，或在突发的前 6 分钟后超出配额)，这些请求将队列。一旦队列饱和，Elasticsearch 将开始拒绝请求。
<小时/>This may help explain why you're able to index 100k documents without issue (under 6min?), while your full collection (~450k) encounters difficulty.
如果您的集群在索引期间受 CPU 限制，并且批量请求被拒绝，您需要:
增加索引期间集群节点可用的计算资源
或
限制索引器以跟上集群摄取容量的步伐。
您可以通过运行 thread_pool 请求来检查队列中有多少批量请求(可能是总队列大小的百分比)，从而构建一个对较小节点类型更具弹性的索引器，然后决定触发下一个批量索引请求。
关于python - 450K 文档的 ElasticSearch 索引 - 性能，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/39972655/
25
4
0
很难说出这里问的是什么。这个问题是含糊的、模糊的、不完整的、过于宽泛的或修辞性的，无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开它，visit the help center 。 已关
我们可以说 O(K + (N-K)logK)相当于O(K + N logK)对于 1 < = K <= N ？ 最佳答案 简短的回答是它们不等价，这取决于k 的值。如果k等于N，那么第一个复杂度是O(
我有以下解决方案，但我从其他评论者那里听说它是 O(N * K * K)，而不是 O(N * K)其中 N 是 K 列表的(最大)长度，K 是列表的数量。例如，给定列表 [1, 2, 3] 和 [4,
我试图理解这些语法结构之间的语义差异。 if ((i% k) == (l % k) == 0) 和 if ((i % k) == 0 && (l % k) == 0) 最佳答案 您的特定表达式((i
我有时会使用一维数组: A = np.array([1, 2, 3, 4]) 或 2D 阵列(使用 scipy.io.wavfile 读取单声道或立体声信号): A = np.array([[1, 2
在文档聚类过程中，作为数据预处理步骤，我首先应用奇异向量分解得到U、S和Vt 然后通过选择适当数量的特征值，我截断了 Vt，这让我从阅读的内容中得到了很好的文档-文档相关性 here .现在我正在对矩
我问的是关于 Top K 算法的问题。我认为 O(n + k log n) 应该更快，因为……例如，如果您尝试插入 k = 300 和 n = 100000000，我们可以看到 O(n + k log
这个问题与另一个问题R:sample()密切相关。 。我想在 R 中找到一种方法来列出 k 个数字的所有排列，总和为 k，其中每个数字都是从 0:k 中选择的。如果k=7，我可以从0,1,...,7中
我目前正在评估基于隐式反馈的推荐系统。我对排名任务的评估指标有点困惑。具体来说，我希望通过精确度和召回率来进行评估。 Precision@k has the advantage of not requ
我在 Python 中工作，需要找到一种算法来生成所有可能的 n 维 k,k,...,k 数组，每个数组都沿轴有一行 1。因此，该函数接受两个数字 - n 和 k，并且应该返回一个数组列表，其中包含沿
我们有 N 对。每对包含两个数字。我们必须找到最大数 K，这样如果我们从给定的 N 对中取 J (1 2，如果我们选择三对 (1,2)，我们只有两个不同的数字，即 1 和 2。 从一个开始检查每个可能
鉴于以下问题，我不能完全确定我当前的解决方案: 问题: 给定一个包含 n 元素的最大堆，它存储在数组 A 中，是否可以打印所有最大的 K 元素在 O(K*log(K)) 中？ 我的回答: 是的，是的，
我明白了: val vector: RDD[(String, Array[String])] = [("a", {v1,v2,..}),("b", {u1,u2,..})] 想转换成: RDD[(St
我有 X 个正数，索引为 x_i。每个 x_i 需要进入 K 组之一(其中 K 是预先确定的)。令 S_j 为 K_j 中所有 x_i 的总和。我需要分配所有 x_i 以使所有 S_j 的方差最小化。
关闭。这个问题是not reproducible or was caused by typos .它目前不接受答案。 这个问题是由于错别字或无法再重现的问题引起的。虽然类似的问题可能是on-topi
我正在研究寻找原始数的算法，看到下面的语句，我不明白为什么。 while (k*k <= n) 优于 while (k <= Math.sqrt(n)) 是因为函数调用吗？该调用函数使用更多资源。 更
我想找到一种尽可能快的方法来将两个小 bool 矩阵相乘，其中小意味着 8x8、9x9 ... 16x16。这个例程会被大量使用，所以需要非常高效，所以请不要建议直截了当的解决方案应该足够快。 对于
有没有一种惯用的方法来获取 Set和 Function ，并获得 Map实时取景？ (即 Map 由 Set 和 Function 组合支持，例如，如果将元素添加到 Set ，则相应的条目也存在于 M
这个问题在这里已经有了答案: Can a local variable's memory be accessed outside its scope? (20 个答案) returning addr
给定一个矩阵:- k = [1 2 3 ; 4 5 6 ; 7 8 NaN]; 如果我想用 0 替换一个数字，比如 2，我可以使用这个:k(k==2) =
我是一名优秀的程序员,十分优秀！