Go语言Elasticsearch数据清理工具思路详解-6ren

Go语言Elasticsearch数据清理工具思路详解

转载作者：qq735679552 更新时间：2022-09-27 22:32:09

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章Go语言Elasticsearch数据清理工具思路详解由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

Go语言Elasticsearch数据清理工具思路详解

微服务架构中收集通常大家都采用ELK进行日志收集，同时我们还采用了SkyWalking进行链路跟踪，而SkyWalking数据存储也用到了ES，SkyWalking每天产生大量的索引数据，如下:

Go语言Elasticsearch数据清理工具思路详解

WX20211008-104751@2x 。

这里一天大概产生了700左右个索引数据。对历史的链路数据我们不做过多的保留.

这里我整理了个小工具，可以定期清理es数据.

1、清理思路

可以看到索引数据都是以日期结尾，我们可以根据日期去匹配索引数据，并对索引进行删除。这里需要考虑一点，有的Es服务开启了索引保护机制，不能通过*index去删除，只能通过索引的全名称去删除。所以我们整体流程如下:

1、获取es服务中全部索引数据.

2、根据当前时间-保留天数，获取要删除的日期.

3、通过字符串匹配，判断索引中是否包含要删除的日期，如果包含则进行删除.

4、工具友好性，我们可以通过配置文件配置ES服务地址、日期格式化类型、保留天数等信息.

2、代码实现

2.1、获取ES服务中全部索引数据

要获取Es服务中全部索引数据，我们首先连接Es服务器，这里我们使用github.com/olivere/elastic/v7库操作Es.

连接ES

func GetEsClient(data Data) *elastic.Client {    Init()    file := "./eslog.log"    logFile, _ := os.OpenFile(file, os.O_RDWR|os.O_CREATE|os.O_APPEND, 0766)     client, err := elastic.NewClient(        elastic.SetURL(data.Host),        elastic.SetSniff(false),        elastic.SetInfoLog(log.New(logFile, "ES-INFO: ", 0)),        elastic.SetTraceLog(log.New(logFile, "ES-TRACE: ", 0)),        elastic.SetErrorLog(log.New(logFile, "ES-ERROR: ", 0)),    )    if err != nil {        return nil    }    return client}

我们通过GetEsClient方法，连接ES,并返回client，供后续方法使用。这里的Data是包含了ES服务地址等信息，我们后面会给出Data的数据结构.

获取全部索引数据。

func getIndex(data Data) map[string]interface{} {    client := GetEsClient(data)    mapping := client.GetMapping()    service := mapping.Index("*")    result, err := service.Do(context.Background())    if err != nil {        fmt.Printf("create index failed, err: %v", err)        return nil    }    return result}

通过client.GetMapping().Index("*")API获取es服务中全部的索引数据，并返回，数据格式如下:

Go语言Elasticsearch数据清理工具思路详解

WX20211008-110537@2x 。

这次我们获取全部索引完成.

2.2、根据当前时间-保留天数，获取要删除的日期

我们根据当前时间-保留天数，获取当前需要删除的日期数据。我们通过GoLang内置的函数库time完成该功能的实现.

currentTime := time.Now()//获取当前时间oldTime := currentTime.AddDate(0, 0, data.Day)//通过配置文件获取保留天数format := oldTime.Format(data.IndexFmt)//通过配置文件获取序列化日期格式

2.3、通过字符串匹配，判断索引中是否包含要删除的日期，如果包含则进行删除

这里通过字符串匹配进行判断是否需要删除索引数据.

func delIndex(data Data) {    currentTime := time.Now()    oldTime := currentTime.AddDate(0, 0, data.Day)    format := oldTime.Format(data.IndexFmt)    index := getIndex(data)//获取全部索引    for k := range index {//遍历索引数据        fmt.Println("key:", k, "format:", format)        if find := strings.Contains(k, format); find { //判断索引中是否包含要删除的日期格式，            DelIndex(data, k)//如果包含则调用DelIndex方法删除        }    }}

// DelIndex 删除 indexfunc DelIndex(data Data, index ...string) bool {    client := GetEsClient(data)    response, err := client.DeleteIndex(index...).Do(context.Background())    if err != nil {        fmt.Printf("delete index failed, err: %v", err)        return false    }    return response.Acknowledged}

通过DeleteIndexAPI删除指定的数据.

2.4、通过配置文件灵活配置数据

这里我们定义了Config和Data对象，对象结构如下:

type Config struct {    Data []Data `json:"data"`} type Data struct {    Host     string `json:"host"`    IndexFmt string `json:"index_fmt"`    Day      int    `json:"day"`}

配置文件内容如下:

{  "data": [    {      "host": "http://ip1:9200",//服务IP      "index_fmt": "20060102",//日期格式化      "day": -1 //保留天数 保留1天    },    {      "host": "http://ip2:9200/",      "index_fmt": "20060102",      "day": -1    },    {      "host": "http://ip3:32093",      "index_fmt": "2006.01.02",      "day": -7  //保留天数 保留7天    }  ]}

我们通过Init方法加载配置文件到Config,

var config Config func Init() {    JsonParse := NewJsonStruct()    //下面使用的是相对路径，config.json文件和main.go文件处于同一目录下    JsonParse.Load("config/config.json", &config)} type JsonStruct struct {} func NewJsonStruct() *JsonStruct {    return &JsonStruct{}} func (jst *JsonStruct) Load(filename string, v interface{}) {    //ReadFile函数会读取文件的全部内容，并将结果以[]byte类型返回    data, err := ioutil.ReadFile(filename)    if err != nil {        return    }     //读取的数据为json格式，需要进行解码    err = json.Unmarshal(data, v)    if err != nil {        return    }}

编写Main方法运行程序:

func main() {    Init()    for i, datum := range config.Data {        fmt.Printf("config data Host is [%s], fmt is [%s]", datum.Host, datum.IndexFmt)        println(i)        delIndex(datum)    }}

这里我们依然遍历配置文件中的多个服务配置。可以同时管理多个Es服务.

3、完整代码

package main import (    "encoding/json"    "fmt"    "io/ioutil"    "strings"    "time") type Config struct {    Data []Data `json:"data"`} type Data struct {    Host     string `json:"host"`    IndexFmt string `json:"index_fmt"`    Day      int    `json:"day"`} var config Config func Init() {    JsonParse := NewJsonStruct()    //下面使用的是相对路径，config.json文件和main.go文件处于同一目录下    JsonParse.Load("config/config.json", &config)} type JsonStruct struct {} func NewJsonStruct() *JsonStruct {    return &JsonStruct{}} func (jst *JsonStruct) Load(filename string, v interface{}) {    //ReadFile函数会读取文件的全部内容，并将结果以[]byte类型返回    data, err := ioutil.ReadFile(filename)    if err != nil {        return    }     //读取的数据为json格式，需要进行解码    err = json.Unmarshal(data, v)    if err != nil {        return    }} func delIndex(data Data) {    currentTime := time.Now()    oldTime := currentTime.AddDate(0, 0, data.Day)    format := oldTime.Format(data.IndexFmt)    index := getIndex(data)    for k := range index {        fmt.Println("key:", k, "format:", format)        if find := strings.Contains(k, format); find {            DelIndex(data, k)        }    }} func main() {    Init()    for i, datum := range config.Data {        fmt.Printf("config data Host is [%s], fmt is [%s]", datum.Host, datum.IndexFmt)        println(i)        delIndex(datum)    }}

package main import (    "context"    "fmt"    "github.com/olivere/elastic/v7"    "log"    "os"    "time") // GetEsClient 初始化客户端func GetEsClient(data Data) *elastic.Client {    Init()    file := "./eslog.log"    logFile, _ := os.OpenFile(file, os.O_RDWR|os.O_CREATE|os.O_APPEND, 0766) // 应该判断error，此处简略    client, err := elastic.NewClient(        elastic.SetURL(data.Host),        elastic.SetSniff(false),        elastic.SetInfoLog(log.New(logFile, "ES-INFO: ", 0)),        elastic.SetTraceLog(log.New(logFile, "ES-TRACE: ", 0)),        elastic.SetErrorLog(log.New(logFile, "ES-ERROR: ", 0)),    )    if err != nil {        return nil    }    return client} // IsDocExists 判断索引是否存储func IsDocExists(data Data, id string, index string) bool {    client := GetEsClient(data)    defer client.Stop()    exist, _ := client.Exists().Index(index).Id(id).Do(context.Background())    if !exist {        log.Println("ID may be incorrect! ", id)        return false    }    return true} // PingNode 是否联通func PingNode(data Data) {    start := time.Now()    client := GetEsClient(data)    info, code, err := client.Ping(data.Host).Do(context.Background())    if err != nil {        fmt.Printf("ping es failed, err: %v", err)    }    duration := time.Since(start)    fmt.Printf("cost time: %v", duration)    fmt.Printf("Elasticsearch returned with code %d and version %s", code, info.Version.Number)} // GetDoc 获取文档func GetDoc(data Data, id string, index string) (*elastic.GetResult, error) {    client := GetEsClient(data)    defer client.Stop()    if !IsDocExists(data, id, index) {        return nil, fmt.Errorf("id不存在")    }    esResponse, err := client.Get().Index(index).Id(id).Do(context.Background())    if err != nil {        return nil, err    }    return esResponse, nil} // CreateIndex 创建 indexfunc CreateIndex(data Data, index, mapping string) bool {    client := GetEsClient(data)    result, err := client.CreateIndex(index).BodyString(mapping).Do(context.Background())    if err != nil {        fmt.Printf("create index failed, err: %v", err)        return false    }    return result.Acknowledged} // DelIndex 删除 indexfunc DelIndex(data Data, index ...string) bool {    client := GetEsClient(data)    response, err := client.DeleteIndex(index...).Do(context.Background())    if err != nil {        fmt.Printf("delete index failed, err: %v", err)        return false    }    return response.Acknowledged} func getIndex(data Data) map[string]interface{} {    client := GetEsClient(data)    mapping := client.GetMapping()    service := mapping.Index("*")    result, err := service.Do(context.Background())    if err != nil {        fmt.Printf("create index failed, err: %v", err)        return nil    }    return result}

代码已经上传github需要的可自行下载.

到此这篇关于Go语言Elasticsearch数据清理工具的文章就介绍到这了,更多相关Go Elasticsearch数据清理工具内容请搜索我以前的文章或继续浏览下面的相关文章希望大家以后多多支持我！。

原文链接：https://blog.csdn.net/July_whj/article/details/120648785 。

最后此篇关于Go语言Elasticsearch数据清理工具思路详解的文章就讲到这里了,如果你想了解更多关于Go语言Elasticsearch数据清理工具思路详解的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

文章推荐： Go select 死锁的一个细节

文章推荐： Go语言--切片(Slice)详解

文章推荐： Python类的继承、多态及获取对象信息操作详解

go - go-go 图表库中的文本旋转
我正在使用 go 图表库 https://github.com/wcharczuk/go-chart制作条形图。我面临的问题是标签值很长，我想将文本旋转 45 度以显示完整文本我喜欢显示的日期格式是
go - `go build` 与 `go build file.go`
我在构建一个非常简单的通过 cgo 调用 c 代码的 go 程序时遇到了问题。我的设置: $: echo $GOPATH /go $: pwd /go/src/main $: ls ctest.c
go - Go 项目中是否需要 main.go？
没有 C 的背景，只有 Go 的“初学者”经验，我正在尝试弄清楚 main.go 是实际需要的还是只是一个约定。我想创建一个简单的网络 API，但有人可以为我澄清一下吗？最佳答案 main.go
go - Go 运行时怎么可能用 Go 编写？
我read从 Go 1.4 开始，Go 运行时是用 Go 本身编写的(而不是用 C)。这怎么可能？如果 Go 程序在运行时之上运行，并且运行时是 Go 程序，那么运行时是否在自身之上运行？最佳答案
go - Go 中的 "go"关键字
这是“Go 之旅”中的代码示例 Range and Close : package main import ( "fmt" ) func fibonacci(n int, c chan int
go - 在 go 模块文件 (go.mod) 中使用 "go"版本指令有何含义
给定以下 go.mod 文件: module foo go 1.12 require ( github.com/bar/baz v1.0.0 github.com/rat/cat v1
go - 使用 go run code.go 执行 Go 程序以供实际使用是最佳实践吗？
我有一个 CI/CD 管道，它需要跨平台并与几个不同的管理程序一起工作。为了不必更改 Windows 和 Linux 的构建任务，我认为 Go 将是编写一次代码并在任何地方运行的好方法。然而，考虑到
go - 为什么建议在生产环境中运行 Go 应用程序时使用 `go build` 而不是 `go run`？
我有一个 Dockerfile，用于使用 go build 编译 Go 应用程序。我进行了研究，确实建议将 go build 用于生产。但是我找不到正确的答案来解释为什么。我了解 go run 创
go - `go run hello.go` 找不到 "hello.go"文件
我尝试在命令提示符#Go lang 中运行该程序-但是当我键入运行“go run hello.go”命令时，我开始了 CreateFile hello.go:The system cannot fin
go - 在另一个 go 程序中打开一个 go 文件
我正在使用“Go 编程语言”一书学习 Go。第一章介绍os.Open用于读取文件的模块。我尝试打开如下所示的 go 文件。 f, err = os.Open("helloworld.go") 我收
go - 有没有办法在 Go 代码中获取 Go 模块的完整路径
关闭。这个问题需要details or clarity .它目前不接受答案。想改进这个问题？通过 editing this post 添加详细信息并澄清问题. 2年前关闭。 Improve this
go - Go Playground 和 Go 在我的机器上的差异？
为了解决我对 goroutine 的一些误解，我去了 Go 操场跑了 this code : package main import ( "fmt" ) func other(done cha
go - 如何在 go 程序中将字符串评估为 go 代码？
这个问题在这里已经有了答案: Evaluate/Execute Golang code/expressions like js' eval() (5 个回答) 1年前关闭。对于任何 go 程序，我想
go - Go os args将“.go”视为文件路径而不是字符串
这是我基本上试图从路径打印基准的代码。这意味着，如果用户输入“/some/random/path.java”，则输出将为“path”。同样，如果用户arg为“/another/myapp.c”，则输
go - 如何将一个 Go 模块嵌套在多个 Go 模块中作为本地依赖项
$ go version 1.13.3 我的文件夹结构如下: GOPATH +---src +--- my-api-server +--- my-auth-server
go - go build 是否包含二进制的非 go 文件？
这个问题在这里已经有了答案: How to embed file for later parsing execution use (4 个答案) What's the best way to bun
go - 不能在 Go 中使用 "go"作为变量名
我觉得这有点奇怪，为什么这段代码不起作用？ package main import "fmt" func main() { var i, j int = 1, 2 k
go - "go run file.go"命令后可执行文件存储在哪里？
go编译器执行完如下命令后的可执行文件存放在哪里？ $> go run file.go 最佳答案在 /tmp 文件夹中，如果您使用的是 unix 机器。如果您使用的是 Windows，则在 \Us
go - 单个 go 项目使用的 go 包的正确文件夹结构
我目前正在开始使用 Go，并且已经深入研究了有关包命名和工作区文件夹结构的注意事项。不过，我不太确定如何根据 Go 范式正确组织我的代码。这是我当前的结构示例，它位于 $GOPATH/src 中:
go - Go App 可以动态编译 Go 代码吗？
假设我有一个接受用户输入的 Lua 程序，而该输入恰好是有效的 Lua 源代码。这是在程序仍在运行时进行清理、编译和执行的。 Go 是否(或将)实现这样的事情？最佳答案我认为以下两个项目之间有足够

qq735679552

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城