java - 我们如何在没有logstash和beats的情况下通过java将数据摄取到 Elasticsearch-6ren

java - 我们如何在没有logstash和beats的情况下通过java将数据摄取到 Elasticsearch

转载作者：行者123 更新时间：2023-12-03 02:16:58

25

4

我们如何在没有logstash和beats的情况下通过java将数据摄取到 Elasticsearch 有没有像kafka这样的选项或者像只使用java而不使用任何工具的东西

最佳答案

我不确定您为什么不想考虑 Filebeats --> Elastic。但是，是的，还有其他方法可以将您的日志发送到 Elastic 搜索。
另外，您没有提及来源是什么，是否要插入应用程序日志，数据库。假设您还想发送微服务日志，并且以下选项也适用于发送其他数据。
由于您不想使用 Filebeat，您应该添加自定义代码来收集、提炼、格式化和发布日志。

您可以使用 Kafka Sink Connector 到 Elastic 搜索来移动所有日志

此外，您可以使用 UDP 协议(protocol)发送(客户端)日志和监听(服务器)，然后实现缓冲和摄取到 Elastic。

您可以开发一个包含所有这些代码并在所有 Java 应用程序中使用的公共(public)库。
简单的 udp 客户端服务器代码 - https://github.com/suren03/udp-server-client

关于java - 我们如何在没有logstash和beats的情况下通过java将数据摄取到 Elasticsearch ，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/63385908/

25

4

0

文章推荐： javascript - react 良好的 uploader 不绑定(bind)到表单

文章推荐： javascript - 在条件条件中调用的函数的第二个参数？

文章推荐： android - 2个带声音的按钮

elasticsearch - ElasticSearch:安装插件后，elasticsearch-head
我在这里有一个问题，我不知道这是否正常。但是我认为这里有些湖，安装插件elasticsearch-head之后，我在浏览器中启动url“http://localhost:9200/_plugin/h
elasticsearch - 如何添加到不同的字段值并将其存储在 Elasticsearch python中的另一个字段中( Elasticsearch 字段操作)
我写了这个 flex 搜索查询: es.search(index=['ind1'],doc_type=['doc']) 我得到以下结果: {'_shards': {'failed': 0, 'skip
elasticsearch - Elasticsearch.Net.ElasticSearch.Path已弃用，我应该改用什么？
在ElasticSearch.Net v.5中，存在一个属性 Elasticsearch.Net.RequestData.Path ，该属性在ElasticSearch.Net v.6中已成为depr
elasticsearch - 更改 elasticsearch.yml 后重新加载 elasticsearch
如何让 elasticsearch 应用新配置？我更改了文件 ~ES_HOME/config/elasticsearch.yml 中的一个字符串: # Disable HTTP completely:
elasticsearch - Elasticsearch 部分子串搜索
我正在尝试使用以下分析器在 elastic serach 7.1 中实现部分子字符串搜索 PUT my_index-001 { "settings": { "analysis": {
elasticsearch - elasticsearch 是如何处理不同任务的优先级的？
假设一个 elasticsearch 服务器在很短的时间内接收到 100 个任务。有些任务很短，有些任务很耗时，有些任务是删除任务，有些是插入和搜索查询。 elasticsearch 是如何决定先运行
elasticsearch - Elasticsearch 中的聚合日期范围过滤值
我需要根据日期过滤一组值(在此处添加字段)，然后按 device_id 对其进行分组。所以我正在使用以下东西: { "aggs":{ "dates_between":{ "fi
elasticsearch - 按星期几和时间过滤 Elasticsearch
我在 Elasticsearch 中有一个企业索引。索引中的每个文档代表一个业务，每个业务都有business_hours。我试图允许使用星期几和时间过滤营业时间。例如，我们希望能够进行过滤，以显示我
elasticsearch - Elasticsearch 类型过滤器中的多种类型
我有一个这样的过滤查询 query: { filtered: { query: { bool: { should: [{multi_match: {
elasticsearch - Elasticsearch 中的匹配短语查询中的单个单词是否有字符限制？
Elasticsearch 相当新，所以可能不得不忍受我，我遇到了一个问题，如果我使用 20 个字符或更少的字符搜索文档，文档会出现，但是查询中同一个单词中的任何更多字符，我没有结果: 使用“苯氧甲基
elasticsearch - ElasticSearch 中字符串数组与串联字符串的内部结构
我试图更好地理解 ElasticSearch 的内部结构，所以我想知道 ElasticSearch 在内部计算以下两种情况的术语统计信息的方式是否存在任何差异。第一种情况是当我有这样的文件时: {
elasticsearch - ElasticSearch 中现有字段的补全建议
在我的 elasticsearch 索引中，我索引了一堆工作。为简单起见，我们只说它们是一堆职位。当人们在我的搜索引擎中输入职位时，我想“自动完成”可能的匹配。我在这里调查了完成建议:http://
elasticsearch - Elasticsearch 中多字段和复制到的区别？
我在很多映射中使用多字段。在 Elastic Search 的文档中，指示应将多字段替换为“fields”参数。参见 http://www.elasticsearch.org/guide/en/ela
elasticsearch - Elasticsearch 中的过滤方面
我有如下查询， query = { "query": {"query_string": {"query": "%s" % q}}, "filter":{"ids
elasticsearch - Elasticsearch 日期范围聚合
我有一个Json数据 "hits": [ { "_index": "outboxprov1", "_type": "deleted-c
elasticsearch - Elasticsearch 中的大小参数
这可能是一个初学者的问题，但我对大小有一些疑问。根据 Elasticsearch 规范，大小的最大值可以是 10000，我想在下面验证我的理解: 示例查询: GET testindex-2016.0
elasticsearch - Elasticsearch 滚动行为
我在 Elastic Search 中发现了滚动功能，这看起来非常有趣。看了那么多文档，下面的问题我还是不清楚。如果偏移量已经存在那么为什么要使用滚动？即将到来的记录呢？假设它完成了所有数据的滚动
elasticsearch - Elasticsearch 不区分大小写
我有以下基于注释的 Elasticsearch 配置，我已将索引设置为不被分析，因为我不希望这些字段被标记化: @Document(indexName = "abc", type = "efg
elasticsearch - elasticsearch:单个索引中的多种类型
我正在尝试在单个索引中创建多个类型。例如，我试图在host索引中创建两种类型(post，ytb)，以便在它们之间创建父子关系。 PUT /ytb { "mappings": { "po
elasticsearch - ElasticSearch 中的动态模板失败
我尝试创建一个简单的模板，包括一些动态模板，但我似乎无法为文档编制索引。我得到错误: 400 {"error":"MapperParsingException[mapping [_default_]

首页

博学

6Ren·AI

商城

java - 我们如何在没有logstash和beats的情况下通过java将数据摄取到 Elasticsearch