个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
27
4
我希望从 Kafka 使用数据并将数据保存到 Hadoop 和 Elasticsearch 中。我目前看到了两种方法:使用 Filebeat 从 Kafka 消费并将其发送到 ES 并使用 Kafka-Connect 框架。有一个 Kafka-Connect-HDFS 和 Kafka-Connect-Elasticsearch 模块。
我不确定使用哪一个来发送流数据。虽然我认为如果我想在某个时候从 Kafka 获取数据并将其放入 Cassandra，我可以为此使用 Kafka-Connect 模块，但 Filebeat 不存在这样的功能。
最佳答案
Kafka Connect 可以处理流式数据并且更加灵活。如果您只是想要弹性，Filebeat 是日志源的干净集成。但是，如果您要从 Kafka 连接到多个不同的接收器，Kafka Connect 可能就是您想要的。我建议查看连接器集线器以查看当前可供您使用的一些开源连接器示例 http://www.confluent.io/product/connectors/
关于elasticsearch - Kafka-Connect 与 Filebeat 和 Logstash，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/39459225/
27
4
0
Filebeat 简介 Filebeat用于转发和集中日志数据的轻量级传送程序。作为服务器上的代理安装，Filebeat监视指定的位置文件或位置，收集日志事件，并将他们转发到Elasticsear
我的 filebeat(来自 docker.elastic.co/beats/filebeat:6.1.2 的容器)收割机正在被 close_inactive 关闭，我不希望它们被关闭。来自 here
我是ELK的新手。我先安装了没有 Logstash 的 Elasticsearch 和 Filebeat，我想将数据从 Filebeat 发送到 Elasticsearch。在我安装了 Filebea
我正面临 logstash 的延迟问题。 事实上，我有一个这样构建的 ELK 堆栈: 我在 AWS 自动缩放组中有多个 AWS EC2 网络前端 我在每个前端都安装了 filebeat filebea
我的目标 我正在尝试提交对 Filebeat documentation 的修复，写于asciidoc 。 来源 Currently it is not possible to recursively
我的目标 我正在尝试提交对 Filebeat documentation 的修复，写于asciidoc 。 来源 Currently it is not possible to recursively
我正在尝试使用 filebeat test ouput -e -c filebeat.yml 测试我的配置，我只看到带有命令列表的帮助消息。 我其实是想输出数据文件来验证。虽然我已经测试了 fileb
是否可以将文件节拍设置为从远程目录读取(因为我无法在那台机器上安装进程) 我在beats yml上是这样设置的: filebeat: # List of prospectors to fetch
我目前正在使用 ELK 5.5。现在看来 document_type 在 Filebeats 中已被弃用，但我现在在任何地方都找不到任何关于如何实现相同的示例。 这是我在日志中得到的: WARN DE
我在 filebeat 方面遇到了一些奇怪的问题 我正在使用云形成来运行我的堆栈，并且我正在安装和运行 filebeat 来进行日志聚合， 我将/etc/filebeat/filebeat.yml注入
因此，我正在使用Filebeat读取几种不同的文件类型。我为要收获的每种文件设置document_type。我的问题是我想将大多数这些文件类型发送到Logstash，但是我希望将某些类型的文件直接发送
我正在尝试从 filebeat 读取文件并将它们推送到 logstash。在推送它们之前，我正在尝试合并包含 java 堆栈跟踪的事件。我试过这个过滤器，但它不起作用。 filebeat.prospe
paths: - /var/log/*.log 我使用它作为filebeat中运输日志的路径。 输出为elasticsearch。 output: elasticsearch:
我有一个读取多种不同日志格式的文件节拍。 一种工作得很好的格式是单个衬里，它作为单个事件发送到 Logstash。 现在，我有另一种格式，即多线。我想将其作为单个事件读取并将其发送到 Logstash
我们正在通过filebeat将数据摄取到Elasticsearch并遇到配置问题。 我正在尝试为特定字段指定日期格式(标准@timestamp字段保留索引时间，我们需要实际的事件时间)。到目前为止，我
我正在使用 Filebeat > logstash > elasticsearch > kibana 运行一个基本的 elk 堆栈设置——全部在 5.2 版上 当我删除 Filebeat 并将 log
我想要一个filebeat实例可以将数据发送到不同的logstash管道的功能。 这可能吗？ 我已经配置了一个logtash服务，它具有两个管道 管道给出了单独的端口。 假设管道1(端口5044)，管
首先我为我的英语道歉。 我是一家公司的实习生，我用 Filebeat 提出了一个解决方案 ELK 来发送日志。 问题是一旦恢复 syslog_pri 总是显示 Notice 和 severity_co
问题: TCP 输入是否管理收割机(即，您是否将文件路径发送到 TCP 输入，然后收割机开始摄取该文件)？ TCP 输入能否接受结构化数据(例如 log 输入上的 json 配置选项)？ TCP 输入
我正在使用 Filebeat 将日志数据从我的本地 txt 文件发送到 Elasticsearch，并且我想将 message 行中的一些字段添加到事件中——比如时间戳和日志级别。例如，这是我的日志行
我是一名优秀的程序员,十分优秀！