gpt4 book ai didi

node.js - MongoDB 摄取 ETL 设计选项

转载 作者:可可西里 更新时间:2023-11-01 10:43:50 26 4
gpt4 key购买 nike

在谈到 MongoDB 时,我完全是个新手,但我以前确实有使用 HbaseAccumulo 等 nosql 存储的经验。当我使用这些其他 nosql 平台时,我最终编写了自己的数据摄取框架(通常在 java 中)来执行类似 ETL 的函数,以及内联扩充。

我还没有找到与 Mongo 具有类似功能的工具,但也许我错过了它。

到目前为止,我有一个 Logstash实例并从多个来源收集日志并将它们作为 JSON 保存到磁盘。我知道有一个 mongodb output plugin对于 Logstash,但它没有任何选项来配置记录的索引方式(即聚合文档等)。

根据我的需要,我想为通过 Logstash 到达的每个事件创建多个聚合文档——这需要一些预处理和特定插入到 Mongo 中。

底线——在我开始构建摄取工具(可能在 python 或 Node 中)之前——是否已经存在一些东西?

最佳答案

尝试 node-datapumps ,nodejs 的 etl 工具。只需从 JSON 对象填充输入缓冲区,丰富 .process() 中的数据并使用 mongo mixin写入 mongodb。

关于node.js - MongoDB 摄取 ETL 设计选项,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22724846/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com