个人中心
文章发布
退出
作者热门文章
- VisualStudio2022插件的安装及使用-编程手把手系列文章
- pprof-在现网场景怎么用
- C#实现的下拉多选框，下拉多选树，多级节点
- 【学习笔记】基础数据结构：猫树
55
4
原文链接 。
代码：快速使用kappa 。
首先的首先，可以先去了解一下lambda架构 。
在本文中提出了Kappa，一个简化无服务器开发的框架。它使用检查点来处理lambda函数超时，并提供并发机制，实现并行计算和协调 。
无服务器计算是一种新的云范例，在这种范例中，租户不是配置虚拟机（VM），而是向平台注册事件处理程序（例如 Python 函数）。当事件发生时，平台会在 lambda 函数（一种短暂的无状态执行环境）上调用处理程序。lambda 函数在终止前可以执行一段有界的时间（例如在 AWS 上为 15 分钟） 存在两个主要挑战：（1）程序员必须手动划分计算以适应 lambda 函数的时间限制；（2）程序员没有可用的并发或同步原语（如线程、锁、信号量等），因此必须要么实现这样的原语，要么限制自己使用无共享并行性，要么避免使用为简化开发而开发的并行 lambda 函数 。
无服务器计算中的Lambda函数存在时间限制的原因主要是为了优化运营商的任务分配和资源管理，运营商不再需要预测任务的完成时间或进行复杂的迁移操作，能够更灵活地进行任务分配和资源利用 。
Kappa 有三个组成部分：（1）一个协调器，负责启动和恢复任务以及实现 Kappa 的并发原语；（2）一个编译器，负责生成检查点所需的代码；（3）一个库，供任务用于检查点、并发处理和同步 。
Kappa 协调器负责在 lambda 函数上安排任务、实现同步和跨任务通信、跟踪任务元数据（包括检查点）以及提供容错功能，协调器本身通过跨备份存储（例如，Redis 集群）复制其状态来支持容错，通过管理远程过程调用 (RPC) 来实现这一点，其中包括生成新任务、检查点、消息排队和检索任务结果等操作.
Kappa使用检查点来容忍lambda函数超时并防止RPC重复,在任务执行的某些关键点创建“检查点”，将任务当前的运行状态（包括变量、控制流等）记录下来。使用了一种称为“continuations（延续）”的技术来创建检查点，延续是一种保存程序控制流的方式,这种方式无需依赖传统服务器持久化状态，而是通过序列化将任务的状态数据保存到外部存储（如Redis或S3）中，提供同步和异步两种检查点模式。同步检查点在保存状态时会短暂停止任务执行，而异步检查点则允许任务继续执行，检查点数据在后台保存，检查点数据分布存储在多个节点上，并支持多任务同时创建检查点 。
(b) 显示了由编译器生成的延续函数，用来保存检查点后的执行流程，(c) 使用异常处理机制在暂停点恢复，确保任务可以从中断处继续执行 。
两种基本并发机制：任务启动和任务同步 。
任务启动 (spawn) 并行机制：spawn RPC 用于启动一个新任务，以并行的方式执行某个函数调用（如f(args)），并返回一个Future对象，用于跟踪任务的结果。工作机制是通过创建一个初始检查点。当系统恢复这个检查点时，会执行相应的函数调用。此时，协调器（Coordinator）会调用一个新的lambda函数，从该检查点恢复并执行任务.
先进先出（FIFO）队列机制：如果一个任务尝试向已满的队列入队或从空队列出队，任务将被阻塞。这个机制不仅可以用来实现任务间通信，还可以作为锁和信号量，控制资源的并发访问.
编译器是用Python编写的，通过Python的pickle库进行状态序列化，每个任务由一个Go协程（goroutine）管理，任务间的同步使用Go的通道（channel）实现，通过锁机制和Redis事务来确保状态更新的原子性 。
检查点开销测试：通过让Lambda函数每100ms创建一次检查点，测量同步和异步检查点的延迟。同步检查点会暂停应用处理直到检查点数据持久化；异步检查点在后台完成持久化操作，允许前台的计算继续 。
并发操作性能测试：使用多生产者多消费者FIFO队列的任务间消息传递，以评估任务通信的延迟 。
端到端应用评估：测试包括五个Kappa应用场景：TPC-DS SQL查询、字数统计（Word Count）、并行Grep（Parallel Grep）、流处理（Streaming），以及网络爬虫（Web Crawler） 。
Kappa编译器尚未完全支持Python的一些特性，包括try/except、yield、async/await、嵌套函数定义和全局变量，只能在由其编译器转换的代码中进行检查点操作，垃圾回收机制，缺乏静态检查可序列化.
最后此篇关于0基础读顶会论文—Kappa：一种用于无服务器计算的编程框架的文章就讲到这里了,如果你想了解更多关于0基础读顶会论文—Kappa：一种用于无服务器计算的编程框架的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
55
4
0
尝试使用集成到 QTCreator 的表单编辑器，但即使我将插件放入 QtCreator.app/Contents/MacOS/designer 也不会显示。不过，相同的 dylib 文件确实适用于独
在此代码示例中。 “this.method2();”之后会读到什么？在返回returnedValue之前会跳转到method2()吗？ public int method1(int returnedV
我的项目有通过gradle配置的依赖项。我想添加以下依赖项: compile group: 'org.restlet.jse', name: 'org.restlet.ext.apispark', v
我将把我们基于 Windows 的客户管理软件移植到基于 Web 的软件。我发现 polymer 可能是一种选择。 但是，对于我们的使用，我们找不到 polymer 组件具有表格 View 、下拉菜单
我的项目文件夹 Project 中有一个文件夹，比如 ED 文件夹，当我在 Eclipse 中指定在哪里查找我写入的文件时 File file = new File("ED/text.txt"); e
这是奇怪的事情，这个有效: $('#box').css({"backgroundPosition": "0px 250px"}); 但这不起作用，它只是不改变位置: $('#box').animate
这个问题在这里已经有了答案: Why does OR 0 round numbers in Javascript? (3 个答案) 关闭 5 年前。 Mozilla JavaScript Guide
这个问题在这里已经有了答案: Is the function strcmpi in the C standard libary of ISO? (3 个答案) 关闭 8 年前。 我有一个问题，为什么
我目前使用的是共享主机方案，我不确定它使用的是哪个版本的 MySQL，但它似乎不支持 DATETIMEOFFSET 类型。 是否存在支持 DATETIMEOFFSET 的 MySQL 版本？或者有计划
研究 Seam 3，我发现 Seam Solder 允许将 @Named 注释应用于包 - 在这种情况下，该包中的所有 bean 都将自动命名，就好像它们符合条件一样@Named 他们自己。我没有看到
我知道 .append 偶尔会增加数组的容量并形成数组的新副本，但 .removeLast 会逆转这种情况并减少容量通过复制到一个新的更小的数组来改变数组？ 最佳答案 否(或者至少如果是，则它是一个错
很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈，无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开，visit the help center . 关闭 1
noexcept 函数说明符是否旨在 boost 性能，因为生成的对象中可能没有记录异常的代码，因此应尽可能将其添加到函数声明和定义中？我首先想到了可调用对象的包装器，其中 noexcept 可能会产
我正在使用 Angularjs 1.3.7，刚刚发现 Promise.all 在成功响应后不会更新 angularjs View ，而 $q.all 会。由于 Promises 包含在 native
我最近发现了这段JavaScript代码: Math.random() * 0x1000000 10.12345 10.12345 >> 0 10 > 10.12345 >>> 0 10 我使用
我正在编写一个玩具(物理)矢量库，并且遇到了 GHC 坚持认为函数应该具有 Integer 的问题。是他们的类型。我希望向量乘以向量以及标量(仅使用 * )，虽然这可以通过仅使用 Vector 来实现
PHP 的 mail() 函数发送邮件正常，但 Swiftmailer 的 Swift_MailTransport 不起作用! 这有效: mail('user@example.com', 'test
我尝试通过 php 脚本转储我的数据，但没有命令行。所以我用 this script 创建了我的 .sql 文件然后我尝试使用我的脚本: $link = mysql_connect($host, $u
使用 python 2.6.4 中的 sqlite3 标准库，以下查询在 sqlite3 命令行上运行良好: select segmentid, node_t, start, number,title
我最近发现了这段JavaScript代码: Math.random() * 0x1000000 10.12345 10.12345 >> 0 10 > 10.12345 >>> 0 10 我使用
我是一名优秀的程序员,十分优秀！