apache-spark - 在 Spark Streaming 期间有多少台服务器在监听？-6ren

apache-spark - 在 Spark Streaming 期间有多少台服务器在监听？

转载作者：行者123 更新时间：2023-12-04 05:21:57

26

4

我正在检查我的集群的配置，我想通过最小化实际可以访问 http 协议(protocol)的机器数量来加强安全性

所以我的问题是:当进行 Spark 流式处理时(比如通过 Twitter 提要)，驱动程序是唯一监听流的服务器，然后将数据作为 RDD 重新分发给执行程序，还是每个执行程序都在监听到流？

最佳答案

Spark Streaming 将为在 Spark Streaming 配置期间创建的每个接收器发出长时间运行的任务。这些接收器被分配在集群上的某个节点上。

如果要指定实例化每个接收器的主机，则必须扩展接收器实现并实现

def preferredLocation: Option[String]

关于apache-spark - 在 Spark Streaming 期间有多少台服务器在监听？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/31165048/

26

4

0

文章推荐：日志记录在 Laravel 队列作业中不起作用

文章推荐： sql - 'sp_executesql' 附近的语法不正确

文章推荐： ruby-on-rails - 范围为 ":locale"和浅层嵌套资源的 Rails 路由

c# - 监听 socket
我遇到了一个奇怪的问题，我以前从未真正体验过这个，这是服务器的代码(在这种情况下客户端是 firefox)，我创建它的方式: _Socket = new Socket( AddressFamily.I
c - 监听:操作不支持错误
我正在使用 C 编程语言在 Ubuntu 中开发原始套接字程序。由于我使用原始套接字，因此需要使用 SOCK_RAW 类型而不是 SOCK_STREAM。使用 SOCK_RAW 反过来会通过抛出来禁
c - 监听()和选择()
我实际上在客户端-客户端应用程序方面遇到了麻烦。这个问题中的一切都与Unix网络编程环境有关。这是我的情况: 我有一个客户端(从现在起称为 C1)，它调用 listen()在套接字上。 C1 输入
c++ - QTcpSocket 监听
是否可以监听 QTcpSocket？我在 Tcp 上有一个简单的 p2p 连接。但是我找不到在随机自由端口上启动 QTcpSocket 的方法。我应该为此使用 QTcpServer，还是仅对 1 个连
Android 监听 ACTION_DOCK_EVENT
我正在尝试根据 this documentation 监听码头更改事件和 ACTION_DOCK_EVENT . 我的接收器从未被击中。我的代码看起来很简单，所以我想知道监听停靠事件是否需要权限？我
c++ - 在不相关的进程之间共享套接字(监听)
在 Linux 3.9 内核和更高版本中运行，我有一个应用程序 X，它在特定套接字上监听连接。我想写一个不相关的应用程序 Y，它跟踪尝试连接到此套接字的次数、源 IP 等。是否可以在 c++ 中(最
Android 监听/检测日志条目
是否可以监听日志条目？即是否存在用于附加日志条目的广播 Intent ？最佳答案没有 Intent 。使用下面的代码: try { Process mLogcatProc
ios - 监听 AVAudioPCMBuffer
我已经实现了 installTap 方法，它为我提供了音频缓冲区浮点示例。我已经通过我的 C++ DSP 库过滤了它们。我想将此缓冲区“发送”到耳机/扬声器。我从示例中再次执行了 AVAudioPCM
android - 监听 ACTION_SCREEN_OFF
我正在尝试启动一个在后台运行的服务，该服务正在监听 ACTION_SCREEN_OFF，当它找到 ACTION_SCREEN_OFF 时，启动我的 Activity 。我在某处读到您需要创建一个Br
reactjs - 高阶组件 - 监听 onChange
我正在开发一个 HOC，以帮助处理我的 React 应用程序中的表单(用于练习)。 // components/Wrapper.js import React from 'react'; export
MQTT - 监听 ping、断开和连接事件
我有“服务器端”mqtt 客户端，用于监视和管理远程 mqtt 客户端。我想扩展此服务器模块以密切关注远程客户端的连接。在正常操作期间，远程客户端定期 PING 代理，根据代理日志: 1532924
c - 监听 sysfs 电池事件
我正在编写一个检查电池容量的守护进程。这是用于运行 Linux 的太阳能嵌入式设备。我读过使用 sleep() 是个坏主意在守护进程中，因此我正在尝试使用事件。所以我写了一些 PoC，但我没有收到任何
java - 监听 Swing 对象上所有更改事件的一般方法
是否有一个库或技术来监听 Swing ui 对象上的所有可变事件？具体数据。例如，我有一个带有 JTextArea、JCheckBox、JComboBox 等的 JPanel。有没有一种通用的方法可
jquery - KineticJS:通过 .on() 监听
使用 KineticJS，是否可以仅绑定(bind)函数一次？就像 jQuery 的等价物一样......例如。在 jQuery 中 // bad $('.wrap a').on('click', m
jquery 监听 iframe 中的事件
我正在使用 jquery 制作一个非常简单的富文本编辑器...我不想使用第三方的。我需要监听 iframe(同一域等)内的事件，从输入开始。显然我需要经常使用bind()。这就是我目前所拥有的，它
jquery - 监听 DIV 内的变化并采取相应的行动
我有一个函数可以获取 XML 文档并根据 XSL 文档对其进行转换。然后，它将结果放入 id 为 laneconfigdisplay 的 div 中。我想要做的是，与转换逻辑分开，为该 div 设置一
cocoa - 监听 NSTextView 中行的删除
如何检测 NSTextView 中的一行(即“\n”字符)被删除？我可以使用 textView:doCommandBySelector: 轻松监听新行并监听 "insertNewLine:"。 (参见
wpf - 监听 DependencyProperty 更改事件并获取旧值
我有以下代码订阅 VisiblePosition 的属性更改事件Column 的属性(property)类(class): DependencyPropertyDescriptor dpd = Dep
c - 监听 DNS 请求
我正在尝试在本地主机上收听浏览器的 DNS 请求。我写了这段代码: WSADATA wsaData; unsigned char hostname[100]; int sockfd; struct
javascript - 监听 API 的回调？
如何以 JSON 对象的形式接收对我网站上特定页面的回调？这些回调是从第三方 API 发出的，用于报告我与该 API 的通信状态。我想过使用node.js的http.server.listen，但我

首页

博学

6Ren·AI

商城

apache-spark - 在 Spark Streaming 期间有多少台服务器在监听？