minio支持object搜索方案-6ren

minio支持object搜索方案

转载作者：我是一只小鸟更新时间：2023-09-08 15:02:19

30

4

minio支持上传时对object打标签，查询时可以根据标签做筛选。但是有ftp上传文件的需求，导致无法给object打标签。并且也不清楚minio对于根据标签的筛选性能如何，因此我们打算将object的对象的数据放到数据库。在数据库中对object进行筛选.

docker部署

                        
                          mkdir -p ~/minio/data

docker run \
   -d \
   --network=host \
   --name minio \
   -v /opt/minio/data:/data \
   -e "MINIO_ROOT_USER=ROOTNAME" \
   -e "MINIO_ROOT_PASSWORD=CHANGEME123" \
   quay.io/minio/minio server /data --console-address ":9090" \
   --address=":9002" \
   --ftp="address=:8021" \
   --ftp="passive-port-range=30000-40000"

9090端口是minio console网页的端口，登录此网页用户名密码就是我们设置的ROOTNAME CHANGEME123 。

9002是我们程序调用minio sdk的端口，根据自己机器的情况按需设置.

ftp参数表示我们开启ftp，并使用8021最为ftp服务器端口.

登录9090网页后，申请Access key，调用minio sdk时需要secret key、Access key等.

Bucket Notification

我们通过订阅minio的object events来做数据同步.

bucket notification 。

minio提供了多种方式，我们最终使用的webhook方式，但是我们暂时先说一下mysql方式:

                        
                          docker run \
   -d \
   --network=host \
   --name minio \
   -v /opt/minio/data:/data \
   -e "MINIO_ROOT_USER=ROOTNAME" \
   -e "MINIO_ROOT_PASSWORD=CHANGEME123" \
   -e MINIO_NOTIFY_MYSQL_ENABLE_PRIMARY="on" \
   -e MINIO_NOTIFY_MYSQL_DSN_STRING_PRIMARY="root:root@tcp(192.168.16.46:3306)/cogent-admin" \
   -e MINIO_NOTIFY_MYSQL_TABLE_PRIMARY="minio_events" \
   -e MINIO_NOTIFY_MYSQL_FORMAT_PRIMARY="namespace" \
   quay.io/minio/minio server /data --console-address ":9090" \
   --address=":9002" \
   --ftp="address=:8021" \
   --ftp="passive-port-range=30000-40000"

MINIO_NOTIFY_MYSQL_DSN_STRING_PRIMARY 配置我们的mysql数据库，然后进入docker容器。

                        
                          docker exec -it minio bash
chmod 777 /opt/bin/mc  
mc alias set myminio http://192.168.16.46:9002 ROOTNAME CHANGEME123
mc admin info --json myminio

mc event add myminio/cogent arn:minio:sqs::PRIMARY:mysql \
  --event put

mc event add myminio/cogent arn:minio:sqs::PRIMARY:mysql \
  --event delete

mc event ls myminio/cogent arn:minio:sqs::PRIMARY:mysql

注意事项：我们必须先至少创建一个bucket才能mc event add。进入容器后，我们要给/opt/bin/mc 执行权限。mc event add 的配置好像会持久化，如果重新启动一个容器，event仍然在，这时就不用在执行mc event add命令了，当然我们可以mc event ls去确定一下evnet是否添加成功。

最后我们的结果，minio发送给mysql中的数据:

value:

                        
                          {
    "Records": [
        {
            "s3": {
                "bucket": {
                    "arn": "arn:aws:s3:::cogent",
                    "name": "cogent",
                    "ownerIdentity": {
                        "principalId": "ROOTNAME"
                    }
                },
                "object": {
                    "key": "jetbra.zip",
                    "eTag": "8943434aec7868e6e16d36209ca47fab",
                    "size": 172138,
                    "sequencer": "177F6C96E9864D53",
                    "contentType": "application/x-zip-compressed",
                    "userMetadata": {
                        "content-type": "application/x-zip-compressed"
                    }
                },
                "configurationId": "Config",
                "s3SchemaVersion": "1.0"
            },
            "source": {
                "host": "192.168.16.148",
                "port": "",
                "userAgent": "MinIO (linux; amd64) minio-go/v7.0.59 MinIO Console/(dev)"
            },
            "awsRegion": "",
            "eventName": "s3:ObjectCreated:Put",
            "eventTime": "2023-08-28T02:56:20.333Z",
            "eventSource": "minio:s3",
            "eventVersion": "2.0",
            "userIdentity": {
                "principalId": "ROOTNAME"
            },
            "responseElements": {
                "x-amz-id-2": "fad4b3083214c3b0ad28cc0f83fd770a8fd5fb5e47b065bc7cae01b61e817e1a",
                "x-amz-request-id": "177F6C96E763B761",
                "x-minio-deployment-id": "d6a44a90-a62c-4605-8aa2-121a85f0d440",
                "x-minio-origin-endpoint": "http://192.168.192.254:9002"
            },
            "requestParameters": {
                "region": "",
                "principalId": "ROOTNAME",
                "sourceIPAddress": "192.168.16.148"
            }
        }
    ]
}

这种格式在mysql中不好查询。因此我使用webhook方式订阅event，这种方式更灵活，我可以提取任何我想要的数据存入数据库.

以下是webhook的方式:

                        
                          docker run \
   -d \
   --network=host \
   --name minio \
   -v /opt/minio/data:/data \
   -e MINIO_ROOT_USER=ROOTNAME \
   -e MINIO_ROOT_PASSWORD=CHANGEME123 \
   -e MINIO_NOTIFY_WEBHOOK_ENABLE_PRIMARY="on" \
   -e MINIO_NOTIFY_WEBHOOK_ENDPOINT_PRIMARY="http://127.0.0.1:8080/buckets/event" \
   quay.io/minio/minio server /data --console-address ":9090" \
   --address=":9002" \
   --ftp="address=:8021" \
   --ftp="passive-port-range=30000-40000"

                        
                          mc alias set myminio http://192.168.16.46:9002 ROOTNAME CHANGEME123

mc admin info --json myminio

mc event add myminio/cogent arn:minio:sqs::PRIMARY:webhook --event put

mc event add myminio/cogent arn:minio:sqs::PRIMARY:webhook --event delete

mc event ls myminio/cogent arn:minio:sqs::PRIMARY:webhook

进入容器后，记得要给 /opt/bin/mc 赋予执行权限。

以下是我对minio中object进行删除和添加时收到的json:

删除时，webhook的参数:

                        
                          {
    "EventName": "s3:ObjectRemoved:Delete",
    "Key": "cogent/jetbra (1).zip",
    "Records": [
        {
            "eventVersion": "2.0",
            "eventSource": "minio:s3",
            "awsRegion": "",
            "eventTime": "2023-08-28T05:55:05.275Z",
            "eventName": "s3:ObjectRemoved:Delete",
            "userIdentity": {
                "principalId": "ROOTNAME"
            },
            "requestParameters": {
                "principalId": "ROOTNAME",
                "region": "",
                "sourceIPAddress": "127.0.0.1"
            },
            "responseElements": {
                "content-length": "160",
                "x-amz-id-2": "fad4b3083214c3b0ad28cc0f83fd770a8fd5fb5e47b065bc7cae01b61e817e1a",
                "x-amz-request-id": "177F765801436093",
                "x-minio-deployment-id": "d6a44a90-a62c-4605-8aa2-121a85f0d440",
                "x-minio-origin-endpoint": "http://192.168.192.254:9002"
            },
            "s3": {
                "s3SchemaVersion": "1.0",
                "configurationId": "Config",
                "bucket": {
                    "name": "cogent",
                    "ownerIdentity": {
                        "principalId": "ROOTNAME"
                    },
                    "arn": "arn:aws:s3:::cogent"
                },
                "object": {
                    "key": "jetbra+%281%29.zip",
                    "sequencer": "177F765801E61109"
                }
            },
            "source": {
                "host": "127.0.0.1",
                "port": "",
                "userAgent": "MinIO (linux; amd64) minio-go/v7.0.59 MinIO Console/(dev)"
            }
        }
    ]
}

添加object时，webhook参数。

                        
                          {
    "EventName": "s3:ObjectCreated:Put",
    "Key": "cogent/jetbra (1).zip",
    "Records": [
        {
            "eventVersion": "2.0",
            "eventSource": "minio:s3",
            "awsRegion": "",
            "eventTime": "2023-08-28T05:56:00.485Z",
            "eventName": "s3:ObjectCreated:Put",
            "userIdentity": {
                "principalId": "ROOTNAME"
            },
            "requestParameters": {
                "principalId": "ROOTNAME",
                "region": "",
                "sourceIPAddress": "192.168.16.148"
            },
            "responseElements": {
                "x-amz-id-2": "fad4b3083214c3b0ad28cc0f83fd770a8fd5fb5e47b065bc7cae01b61e817e1a",
                "x-amz-request-id": "177F7664D9E2DAD5",
                "x-minio-deployment-id": "d6a44a90-a62c-4605-8aa2-121a85f0d440",
                "x-minio-origin-endpoint": "http://192.168.192.254:9002"
            },
            "s3": {
                "s3SchemaVersion": "1.0",
                "configurationId": "Config",
                "bucket": {
                    "name": "cogent",
                    "ownerIdentity": {
                        "principalId": "ROOTNAME"
                    },
                    "arn": "arn:aws:s3:::cogent"
                },
                "object": {
                    "key": "jetbra+%281%29.zip",
                    "size": 172138,
                    "eTag": "8943434aec7868e6e16d36209ca47fab",
                    "contentType": "application/x-zip-compressed",
                    "userMetadata": {
                        "content-type": "application/x-zip-compressed"
                    },
                    "sequencer": "177F7664DCA24B86"
                }
            },
            "source": {
                "host": "192.168.16.148",
                "port": "",
                "userAgent": "MinIO (linux; amd64) minio-go/v7.0.59 MinIO Console/(dev)"
            }
        }
    ]
}

漏洞：如果我们Java程序重启，或者说webhook的web程序重启后，这时我们对minio删除或添加修改对象数据，那么此时将监听不到这个事件。因此我们一种方式是停止web服务时，先停止minio。另一种方式是执行定时任务，同步数据，或者说在web程序启动后一分钟内，同步minio 的object数据。当然如果object非常多，web程序更新频繁，我们可以将minio的event放到MQ中，web程序再去消费MQ中event 。

最后此篇关于minio支持object搜索方案的文章就讲到这里了,如果你想了解更多关于minio支持object搜索方案的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

30

4

0

文章推荐：文盘Rust——子命令提示，提高用户体验

文章推荐： Java中的日期时间总结

文章推荐： SQL注入简介

文章推荐： [Maven]maven插件系列之maven-shade-plugin

mysql - Processmaker 安装 MySQL 支持 : undefined , GD 支持 : not enabled , LDAP 支持 (*):未启用
我的 processmaker 安装遇到了一些问题。我正在尝试使用本指南 [url]http://wiki.processmaker.com/index.php/ProcessMaker_Ubuntu
ios - 验证 iMessage 支持、SMS 支持
我正在使用 ShareKit。发送 SMS 消息使用 MFMessageComposeViewController，用户看到标题“文本”。我想将该标题更改为更能反射(reflect)实际可用内容的内容
android - ActionBar(支持)和 Fragment(支持)
我需要在我的一个针对 Gingerbread 的 Android 应用程序中使用操作栏和 fragment 的组合。所以我使用了 v7 支持库中的操作栏和 v4 支持库中的 fragment ，并使用
javascript - 为什么 Web Workers 中有同步 FileSystem 支持，但没有同步 WebSocket 支持？
我明白为什么浏览器 vendor 不想帮助我阻止他们的 UI 线程。但是，我不明白为什么会有: Web Workers 中没有 sleep (2) 没有同步 WebSockets API 有一个syn
hadoop - Cloudera 支持 docker 容器或 Docker 支持 CM 5 图像
最近我的组织正在考虑使用 Docker。我们组使用的是cloudera CDH 5.1.2。 1) cloudera 是否与 Docker 容器兼容？2) docker 和cloudera 组合是否存
macos - 如何在 Mac 上完整(具有所有功能 - ACL 支持/Xattr 支持/xxhash 库/zstd 库)安装(编译)rsync v3.2.3？
我正在尝试通过编译在 Mac 上安装 rsync 3.2.3。但是，我想安装所有功能。为此，它需要一些库，此处 ( https://download.samba.org/pub/rsync/INSTA
pydev 支持 nose2
我一直在使用 PyDev 成功运行 nose 测试，并想试试 nose2。所以我安装了它 pip install nose2 复制/粘贴来自 http://nose2.info/ 的示例代码进入名为
LLVM OpenMP 支持
我想知道 LLVM 中是否有任何函数/方法可以在 LLVM IR 中添加 Open-MP 构造。 llvm-3.0 是否仍然支持 OpenMP 指令？最佳答案 OpenMP 是一种高级语言扩展。因此
支持 CUDA 的设备
我对 CUDA 编程非常陌生。我正在浏览 SDK 附带的示例。我能够编译代码，但是当我运行它时，出现以下错误: "clock.cu(177) : CUDA Runtime API error 38:
RStudio HiDPI 支持
RStudio 是用于 R 开发的出色 IDE。我想知道是否有任何方法可以很好地支持 HiDPI 分辨率？我目前有 13 英寸显示器和 3200x1800 分辨率，甚至很难阅读 RStudio 选项
Django RDF 支持？
我正在寻找一种有助于为 Django 项目提供 RDF 支持的工具。到目前为止，我发现了两个: django-rdf - 最后一次修改是在 4 年前，所以它看起来像是一个死项目。 djubby -
支持 Javascript 链接的关系运算符吗？
我刚刚尝试了一些 JS 核心原则，发现引擎评估链接的关系运算符而不会引发错误。相反，他们以我自己无法理解的方式进行评估。 console.log(1 4 > 3 > 2 > 1); //false,
支持 textmate 片段的编辑器？
我知道 etexteditor 和 vim/emacs。是否有任何其他 Windows 编辑器支持类似 textmate 的片段(例如，您编写触发词，按 Tab，它更改为某些内容，再次按 Tab，它
kubernetes - 如何验证集群网络策略配置/支持
我正在尝试找出验证给定集群的网络策略配置的最佳方法。 According to the documentation Network policies are implemented by the ne
boost MD5 支持？
很难说出这里问的是什么。这个问题是含糊的、模糊的、不完整的、过于宽泛的或修辞性的，无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开它，visit the help center 。已关
z3 - 支持 AUFBV？
Z3 会支持 AUFBV 吗？对于以下脚本: (set-logic AUFBV) (declare-fun x () (_ BitVec 16)) (declare-const t (Array (
c# - 支持/反对使用部分类进行测试的原因？
使用分部类编写 NUnit 测试的优缺点是什么？我要开始了: 亲:可以测试私有(private)方法缺点:TDD 不再可能了还有什么？最佳答案缺点:要么您必须测试与您发布的版本不同的构建，要
Javascript AOP 支持
它很容易(对于 90% 的 aop 特性)在没有任何语言本身支持的情况下做到这一点，就像大多数动态语言如 python 和 ruby 一样。然而，Dojo在 1.3.2 上直接支持它.最新版本发生
Android:测试字符是否可显示/支持？
我在我的 android 应用程序中使用亚洲字符，我已经了解到某些字符无法显示，因为系统字体不支持它们。我查询了一个包含亚洲字符的数据库，并且经常检索到无法显示的标志。这些情况对我的应用程序来说通常不
ios - 支持@的UITextView没有空格来放置用户名
你好，我想实现一个控件，我想在用户键入@字符时启用该控件，直到未填充运行文本中的空格为止，它应该显示用户列表，@符号后键入的文本应该显示基于键盘字符的建议，就像我们在上面看到的那样Twitter 或

首页

博学

6Ren·AI

商城