个人中心
文章发布
退出
作者热门文章
- VisualStudio2022插件的安装及使用-编程手把手系列文章
- pprof-在现网场景怎么用
- C#实现的下拉多选框，下拉多选树，多级节点
- 【学习笔记】基础数据结构：猫树
57
4
原文链接 。
代码：快速使用kappa 。
首先的首先，可以先去了解一下lambda架构 。
在本文中提出了Kappa，一个简化无服务器开发的框架。它使用检查点来处理lambda函数超时，并提供并发机制，实现并行计算和协调 。
无服务器计算是一种新的云范例，在这种范例中，租户不是配置虚拟机（VM），而是向平台注册事件处理程序（例如 Python 函数）。当事件发生时，平台会在 lambda 函数（一种短暂的无状态执行环境）上调用处理程序。lambda 函数在终止前可以执行一段有界的时间（例如在 AWS 上为 15 分钟） 存在两个主要挑战：（1）程序员必须手动划分计算以适应 lambda 函数的时间限制；（2）程序员没有可用的并发或同步原语（如线程、锁、信号量等），因此必须要么实现这样的原语，要么限制自己使用无共享并行性，要么避免使用为简化开发而开发的并行 lambda 函数 。
无服务器计算中的Lambda函数存在时间限制的原因主要是为了优化运营商的任务分配和资源管理，运营商不再需要预测任务的完成时间或进行复杂的迁移操作，能够更灵活地进行任务分配和资源利用 。
Kappa 有三个组成部分：（1）一个协调器，负责启动和恢复任务以及实现 Kappa 的并发原语；（2）一个编译器，负责生成检查点所需的代码；（3）一个库，供任务用于检查点、并发处理和同步 。
Kappa 协调器负责在 lambda 函数上安排任务、实现同步和跨任务通信、跟踪任务元数据（包括检查点）以及提供容错功能，协调器本身通过跨备份存储（例如，Redis 集群）复制其状态来支持容错，通过管理远程过程调用 (RPC) 来实现这一点，其中包括生成新任务、检查点、消息排队和检索任务结果等操作.
Kappa使用检查点来容忍lambda函数超时并防止RPC重复,在任务执行的某些关键点创建“检查点”，将任务当前的运行状态（包括变量、控制流等）记录下来。使用了一种称为“continuations（延续）”的技术来创建检查点，延续是一种保存程序控制流的方式,这种方式无需依赖传统服务器持久化状态，而是通过序列化将任务的状态数据保存到外部存储（如Redis或S3）中，提供同步和异步两种检查点模式。同步检查点在保存状态时会短暂停止任务执行，而异步检查点则允许任务继续执行，检查点数据在后台保存，检查点数据分布存储在多个节点上，并支持多任务同时创建检查点 。
(b) 显示了由编译器生成的延续函数，用来保存检查点后的执行流程，(c) 使用异常处理机制在暂停点恢复，确保任务可以从中断处继续执行 。
两种基本并发机制：任务启动和任务同步 。
任务启动 (spawn) 并行机制：spawn RPC 用于启动一个新任务，以并行的方式执行某个函数调用（如f(args)），并返回一个Future对象，用于跟踪任务的结果。工作机制是通过创建一个初始检查点。当系统恢复这个检查点时，会执行相应的函数调用。此时，协调器（Coordinator）会调用一个新的lambda函数，从该检查点恢复并执行任务.
先进先出（FIFO）队列机制：如果一个任务尝试向已满的队列入队或从空队列出队，任务将被阻塞。这个机制不仅可以用来实现任务间通信，还可以作为锁和信号量，控制资源的并发访问.
编译器是用Python编写的，通过Python的pickle库进行状态序列化，每个任务由一个Go协程（goroutine）管理，任务间的同步使用Go的通道（channel）实现，通过锁机制和Redis事务来确保状态更新的原子性 。
检查点开销测试：通过让Lambda函数每100ms创建一次检查点，测量同步和异步检查点的延迟。同步检查点会暂停应用处理直到检查点数据持久化；异步检查点在后台完成持久化操作，允许前台的计算继续 。
并发操作性能测试：使用多生产者多消费者FIFO队列的任务间消息传递，以评估任务通信的延迟 。
端到端应用评估：测试包括五个Kappa应用场景：TPC-DS SQL查询、字数统计（Word Count）、并行Grep（Parallel Grep）、流处理（Streaming），以及网络爬虫（Web Crawler） 。
Kappa编译器尚未完全支持Python的一些特性，包括try/except、yield、async/await、嵌套函数定义和全局变量，只能在由其编译器转换的代码中进行检查点操作，垃圾回收机制，缺乏静态检查可序列化.
最后此篇关于0基础读顶会论文—Kappa：一种用于无服务器计算的编程框架的文章就讲到这里了,如果你想了解更多关于0基础读顶会论文—Kappa：一种用于无服务器计算的编程框架的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
57
4
0
SQL 和一般开发的新手，我有一个表(COUNTRIES)，其中包含字段(INDEX、NAME、POPULATION、AREA) 通常我添加一个客户端(Delphi)计算字段(DENSITY)和 On
我想使用 calc(100%-100px)，但在我的 demo 中不起作用由于高度只接受像素，因此如何将此百分比值转换为像素。 最佳答案 以下将为您提供高度: $(window).height();
我正在尝试在 MySQL 中添加列并动态填充其他列。 例如我有一张表“数字”并具有第 1 列、第 2 列、第 3 列，这些总数应填充在第 4 列中 最佳答案 除非我误解了你的问题，否则你不只是在寻找:
我想返回简单计算的结果，但我不确定如何执行此操作。我的表格如下: SELECT COUNT(fb.engineer_id) AS `total_feedback`, SUM(fb.ra
我一直在尝试做这个程序，但我被卡住了，我仍然是一个初学者，任何帮助将不胜感激。我需要程序来做 打印一个 10 X 10 的表格，其中表格中的每个条目都是行号和列号的总和 包含一个累加器，用于计算所有表
这个计算背后一定有一些逻辑。但我无法得到它。普通数学不会导致这种行为。谁能帮我解释一下原因 printf ("float %f\n", 2/7 * 100.0); 结果打印 1.000000 为什么会
我想计算从 0 到 (n)^{1/2} - 1 的数字的 AND每个数字从 0 到 (n)^{1/2} - 1 .我想在 O(n) 中执行此操作时间，不能使用 XOR、OR、AND 运算。 具体来说，
如何在 Excel 中将公式放入自定义数字格式？例如(出于说明目的随机示例)， 假设我有以下数据: 输入 输出 在不编辑单元格中的实际数据的情况下，我想显示单元格中的值除以 2，并保留两位小数: 有没
每次我在 Flutter 应用程序中调用计算()时，我都会看到内存泄漏，据我所知，这基本上只是一种生成隔离的便捷方法。我的应用程序内存占用增加并且在 GC 之后永远不会减少。 我已将我的代码简化为仅调
我有数字特征观察 V1通过 V12用于目标变量 Wavelength .我想计算 Vx 之间的 RMSE列。数据格式如下。 每个变量“Vx”以 5 分钟的间隔进行测量。我想计算所有 Vx 变量的观测值
我正在寻找一种使用 C 语言计算文件中未知字符数的简单方法。谢谢你的帮助 最佳答案 POSIX 方式(可能是您想要的方式): off_t get_file_length( FILE *file ) {
我正在使用 Postgres，并且我正试图围绕如何在连续日期跨度中得出第一个开始日期的问题进行思考。例如 :- ID | Start Date | End Date =================
我有一个订单表格，我在其中使用 jQuery 计算插件来汇总总数。 此求和工作正常，但生成的“总和”存在问题。总之，我希望用逗号替换任何点。 代码的基础是； function ($this) {
我在使用 double 变量计算简单算术方程时遇到问题。 我有一个具有 double 属性 Value 的组件，我将此属性设置为 100。 然后我做一个简单的减法来检查这个值是否真的是 100: va
我在这里看到了一些关于 CRC 32 计算的其他问题。但没有一个让我满意，因此是这样。 openssl 库是否有任何用于计算 CRC32 的 api 支持？我已经在为 SHA1 使用 openssl，
当我在PHP日期计算中遇到问题时，我感到惊讶。 $add = '- 30 days'; echo date('Y-m-01', strtotime($add)); // result is 2017-
我正在使用 javascript 进行练习，我编写了这个脚本来计算 2 个变量的总和，然后在第三个方程中使用这个总和!关于如何完成这项工作的任何想法都将非常有用! First Number:
我有一个来自EAC的提示单和一个包含完整专辑的FLAC文件。 我正在尝试制作一些python脚本来播放文件，因为我需要能够设置在flac文件中开始的位置。 如何从CueSheet格式MM:SS:FF转
这个问题已经有答案了: Adding two numbers concatenates them instead of calculating the sum (24 个回答) 已关闭去年。 我有一个
4000 我需要上面字段 name="quantity" 和 id="price" 中的值，并使用 javascript 函数进行计算，并将其显示在字段 id= 中仅当我单击计算按钮时才显示“总
我是一名优秀的程序员,十分优秀！