netty - Spark 是如何使用 Netty 的？-6ren

netty - Spark 是如何使用 Netty 的？

转载作者：行者123 更新时间：2023-12-04 22:12:32

29

4

我知道 Storm 现在运行在 Netty 上用于节点之间的通信？
Apache Spark 是否也使用 Netty？如果真是这样，那么是以哪种方式？

最佳答案

Spark使用Akka Actor进行RPC和消息传递，而后者又使用Netty。

此外，为了移动批量数据，使用了 Netty。

对于 shuffle 数据，可以选择使用 Netty。默认情况下，直接使用 NIO 来做传输 shuffle 数据。

对于广播数据(驾驶员到所有 worker 的数据传输)，默认情况下使用Jetty。

关于netty - Spark 是如何使用 Netty 的？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/23330449/

29

4

0

文章推荐： regex - 使用 gsub 删除多个逗号和尾随逗号

文章推荐： ipython-notebook - 无法将.py文件导入ipython笔记本

文章推荐： com - BusinessObjects XI COM 支持

文章推荐： ruby-on-rails - solr，太阳黑子，错误请求，非法字符

netty - Netty 中的连接池
我正在尝试使用 Netty 构建一个反向代理，并且我想保留一个到后端服务器的开放套接字池，而不是每个传入套接字都需要一个从反向代理到后端服务器的新套接字。你能用 Netty 做到这一点吗？如何？谢
netty - 从 Netty 3.5.x 到 Netty 4 性能提升了多少
从 Netty 3.5.x 到 Netty 4 性能提升了多少？有数据吗？最佳答案目前没有太大改进。不过，它的 GC 开销要少得多。一旦实现缓冲池，我相信吞吐量也会变得更好。目前，吞吐量增益约为
netty - 客户端连接打开时关闭 Netty 服务器
我正在尝试关闭与它建立连接的 Netty 服务器，但它只是挂起。这就是我所做的。在一台机器上启动服务器，在另一台机器上启动客户端。从客户端向服务器发送一条消息，我得到响应。使用 Ctrl-C 关
netty - Netty HashedWheelTimer 可以处理多少次超时？
doc说“每个轮子的默认滴答数(即轮子的大小)是 512。如果你要安排很多超时，你可以指定一个更大的值。” 这是否意味着默认情况下它只能处理 512 次超时？如果我想要 25 秒的 10 万次超时(对
netty - 动态变化的 netty 管道
我正在使用 netty 4.0.25Final 编写一个 netty HTTP 服务器。我需要根据 HTTP GET 请求中的一些参数在管道中添加各种处理程序。 pipeline.addLast(ne
netty - 小程序客户端的最小 netty jar
我现在将 Netty 用于一些服务器端组件有一段时间了，我对此感到非常满意。因此，为了我自己的方便，我还想在客户端使用它，但我想保持小程序的占用空间(在这种情况下)尽可能小。我需要从 Netty 那里
netty - 如何阻止 netty 在服务器套接字上监听和接受
有没有办法告诉 netty 停止监听和接受套接字上的新连接，但要完成当前连接上的任何正在进行的工作？最佳答案您可以关闭 ServerSocketChannel创建者 ChannelFactory
netty - 带或不带超线程的 webflux netty
我用响应式(Reactive) mongo 创建了简单的 Webflux (kotlin) 应用程序。 Controller 有一个 GET 方法，即返回 Flow(来自一个集合的 2 个对象)。我
netty - 代表连接到 netty 服务器的客户端
我有一个新项目，我将第一次使用 Netty (v4.0.4)。我将拥有一个拥有数万个连接客户端的服务器。服务器将向这些客户端发送命令并应该接收响应。查看 API 和在线示例，我不确定如何从服务器的角
netty - 如何将事件发送给 netty 中的其他处理程序？
与 boost.asio 不同，netty 没有类似 read 的方法。以下情况不方便:管理节点管理一些节点，客户端连接到管理节点以检索驻留在节点中的信息。当管理节点收到客户端的请求后，向对应的节点发
netty - 在同一台开发机器上运行多个 Netty 客户端和一个服务器
我正在编写一个应用程序，其中客户端和服务器都是使用 Netty 编写的，并且服务器应该(显然)同时支持多个客户端。我试图通过创建 1000 个客户端共享一个 EventLoopGroup 并在一台机器
netty - 使用 Netty 等待多步连接过程完成
如果我在 Netty 101 期间睡着了，请原谅我，但我想知道是否有一种“正确”的方式来等待 Netty 完成多步骤连接过程。假设我有一个应用程序，其过程如下所示: 打开实际连接。执行 TLS 握手
netty - 从字符串构造 Netty ChannelBuffer
将 Netty ChannelBuffer 转换为 String 就像在 ChannelBuffer 上调用 .toString(UTF_8) 一样简单。如何从字符串创建 ChannelBuffer？
netty - 如何使用 Netty 4 暂停和恢复阅读？
在 Netty 3 中，我们可以这样做: Channel.setReadable(false); Channel.setReadable(true); 我读了: http://netty.io/new
netty - Spark 是如何使用 Netty 的？
我知道 Storm 现在运行在 Netty 上用于节点之间的通信？ Apache Spark 是否也使用 Netty？如果真是这样，那么是以哪种方式？最佳答案 Spark使用Akka Actor进行
netty - 向 netty telnet 示例添加身份验证
很难说出这里问的是什么。这个问题是模棱两可的、模糊的、不完整的、过于宽泛的或修辞的，无法以目前的形式得到合理的回答。如需帮助澄清这个问题以便重新打开它，visit the help center .
netty - 为什么我们真的需要多个 netty boss 线程？
我真的很困惑老板组的线程数。我想不出我们需要多个老板线程的情况。在 do we need more than a single thread for boss group? Netty 的创建者说，如
netty - Netty 4 中的 IdleStateHandler？
我已将其添加到我的管道中，并且 LoggingHandler 正在捕获其事件，但是由于事件系统从 Netty 3 更改为 4，我该如何处理这些事件，因为 IdleStateAwareUpstreamH
netty - 在 Netty channel 上保持状态
有没有办法在 channel 上保持状态。我正在编写一个聊天服务器，我想保留有关 channel 所属用户的信息。我在想也许 Channel 会提供一种方法来存储用户对象，但我看不到。有没有办法在不需
netty - 在 netty channel 上设置套接字超时
我有一个 netty channel ，我想在底层套接字上设置超时(默认设置为 0 )。超时的目的是，如果 15 分钟内没有发生任何事情，则未使用的 channel 将被关闭。虽然我没有看到任何配

首页

博学

6Ren·AI

商城

netty - Spark 是如何使用 Netty 的？