kubernetes - 如何使容错数据处理k8s Pod？-6ren

kubernetes - 如何使容错数据处理k8s Pod？

转载作者：行者123 更新时间：2023-12-02 12:12:04

25

4

我们在GKE上有一个图像处理管道，该管道是GCP主题提供的，而GCP主题又是存储桶通知(即

image upload > bucket > notification > topic < pods consume files off topic.

这样可以很好地扩展，但是偶尔 pod 死亡或被杀死，并且它们消耗的主题数据也随之消失。是否有一个容器设计模式来确保即使 pods 意外死亡也能处理文件？

(在处理数百万个图像文件时，将错过的内容排序是一种噩梦)。

最佳答案

是的，我考虑了很长时间，并提出了一个2队列解决方案，即我要称呼的Accountant pod / container(因为这个想法是基于双重记账簿):

作业被发布到Q1和Q2两个队列

worker 处理Q1弹出项目，直到它为空为止

当Q1为空时，会计工作人员通过Q2检查每个作业的预期输出。如果缺少某些东西，则再次放回Q1和Q2(在Q2耗尽之后)。

重复此操作，直到会计师没有将任何内容回发到队列中为止。

我称之为:重复输入/会计设计模式:)

我认为这可以应用于大多数数据处理队列系统。

我看到的唯一缺陷是会计去世了(但是检查输入和输出应该是一件轻巧的工作)。我想您可以将N-1个会计师与N个队列，具体取决于您希望成为多人(但要协调1个以上的会计师可能会很棘手)

关于kubernetes - 如何使容错数据处理k8s Pod？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/61514806/

25

4

0

文章推荐： kubernetes - GKE 集群自动扩缩器陷入初始化状态

文章推荐： kubernetes - Istio 可从浏览器访问，但不能从 curl 访问

c++ - 数字 xor K - K = 数字 + K xor K，为什么？
很难说出这里问的是什么。这个问题是含糊的、模糊的、不完整的、过于宽泛的或修辞性的，无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开它，visit the help center 。已关
algorithm - O(K + (N-K)logK) 是否等同于 O(K + N log K)？
我们可以说 O(K + (N-K)logK)相当于O(K + N logK)对于 1 < = K <= N ？最佳答案简短的回答是它们不等价，这取决于k 的值。如果k等于N，那么第一个复杂度是O(
algorithm - 合并 K 个排序链表，为什么复杂度是 O(N * K * K)，而不是 O(N * K)
我有以下解决方案，但我从其他评论者那里听说它是 O(N * K * K)，而不是 O(N * K)其中 N 是 K 列表的(最大)长度，K 是列表的数量。例如，给定列表 [1, 2, 3] 和 [4,
C++ 语法，i % k == l % k == 0 和 i % k == 0 && l % k == 0 之间的区别
我试图理解这些语法结构之间的语义差异。 if ((i% k) == (l % k) == 0) 和 if ((i % k) == 0 && (l % k) == 0) 最佳答案您的特定表达式((i
python - 将数组 (k,) 或 (k, n) 乘以一维数组 (k,)
我有时会使用一维数组: A = np.array([1, 2, 3, 4]) 或 2D 阵列(使用 scipy.io.wavfile 读取单声道或立体声信号): A = np.array([[1, 2
python - 用于确定 k 均值中的 k 的 k 折交叉验证？
在文档聚类过程中，作为数据预处理步骤，我首先应用奇异向量分解得到U、S和Vt 然后通过选择适当数量的特征值，我截断了 Vt，这让我从阅读的内容中得到了很好的文档-文档相关性 here .现在我正在对矩
c++ - Top K 最小选择算法 - O (n + k log n) vs O (n log k) for k << N
我问的是关于 Top K 算法的问题。我认为 O(n + k log n) 应该更快，因为……例如，如果您尝试插入 k = 300 和 n = 100000000，我们可以看到 O(n + k log
r - 列出 k 个数字的所有排列，取自 0 :k,，总和为 k
这个问题与另一个问题R:sample()密切相关。。我想在 R 中找到一种方法来列出 k 个数字的所有排列，总和为 k，其中每个数字都是从 0:k 中选择的。如果k=7，我可以从0,1,...,7中
machine-learning - 了解 Precision@K、AP@K、MAP@K
我目前正在评估基于隐式反馈的推荐系统。我对排名任务的评估指标有点困惑。具体来说，我希望通过精确度和召回率来进行评估。 Precision@k has the advantage of not requ
python - 生成所有可能的 n 维 k*k*...*k 数组，每个数组都有沿轴的行
我在 Python 中工作，需要找到一种算法来生成所有可能的 n 维 k,k,...,k 数组，每个数组都沿轴有一行 1。因此，该函数接受两个数字 - n 和 k，并且应该返回一个数组列表，其中包含沿
algorithm - 寻找最大数量 k 使得对于 k 对的所有组合，我们在每个组合中有 k 个不同的元素
我们有 N 对。每对包含两个数字。我们必须找到最大数 K，这样如果我们从给定的 N 对中取 J (1 2，如果我们选择三对 (1,2)，我们只有两个不同的数字，即 1 和 2。从一个开始检查每个可能
algorithm - 在 O(K*log(K)) 中打印给定堆中最大的 K 个元素？
鉴于以下问题，我不能完全确定我当前的解决方案: 问题: 给定一个包含 n 元素的最大堆，它存储在数组 A 中，是否可以打印所有最大的 K 元素在 O(K*log(K)) 中？我的回答: 是的，是的，
scala - Apache Spark - Scala - 如何将 FlatMap (k, {v1,v2,v3,...}) 到 ((k,v1),(k,v2),(k,v3),...)
我明白了: val vector: RDD[(String, Array[String])] = [("a", {v1,v2,..}),("b", {u1,u2,..})] 想转换成: RDD[(St
algorithm - 将 X 中的所有 x_i 分成 K 组 s.t. var(sum(x in k) for k in K) 被最小化
我有 X 个正数，索引为 x_i。每个 x_i 需要进入 K 组之一(其中 K 是预先确定的)。令 S_j 为 K_j 中所有 x_i 的总和。我需要分配所有 x_i 以使所有 S_j 的方差最小化。
c - 为什么对于长度为 k 的字符串需要 char[k + 1] 而不是 char[k] ？
关闭。这个问题是not reproducible or was caused by typos .它目前不接受答案。这个问题是由于错别字或无法再重现的问题引起的。虽然类似的问题可能是on-topi
algorithm - 为什么 k*k <= n 优于 k <= Math.sqrt(n)
我正在研究寻找原始数的算法，看到下面的语句，我不明白为什么。 while (k*k <= n) 优于 while (k <= Math.sqrt(n)) 是因为函数调用吗？该调用函数使用更多资源。更
c - k x k bool 矩阵的快速乘法，其中 8 <= k <= 16
我想找到一种尽可能快的方法来将两个小 bool 矩阵相乘，其中小意味着 8x8、9x9 ... 16x16。这个例程会被大量使用，所以需要非常高效，所以请不要建议直截了当的解决方案应该足够快。对于
java - Guava :Set + Function = Map？
有没有一种惯用的方法来获取 Set和 Function ，并获得 Map实时取景？ (即 Map 由 Set 和 Function 组合支持，例如，如果将元素添加到 Set ，则相应的条目也存在于 M
c - 函数 f1() 正在返回变量 k 的地址，但由于 k 在堆栈上，因此在括号后它应该从堆栈内存中展开变量 k
这个问题在这里已经有了答案: Can a local variable's memory be accessed outside its scope? (20 个答案) returning addr
matlab - 为什么替换矩阵的 NaN 不适用于 k(k==NaN) = SomeNumber ，其中 k 是要操作的矩阵
给定一个矩阵:- k = [1 2 3 ; 4 5 6 ; 7 8 NaN]; 如果我想用 0 替换一个数字，比如 2，我可以使用这个:k(k==2) =

首页

博学

6Ren·AI

商城

kubernetes - 如何使容错数据处理k8s Pod？