marklogic - 使用 MLCP 插入 MarkLogic DB 时检查空/空白

Question

我正在探索 MarkLogic 数据库，并一直尝试使用 MarkLogic 内容泵将数据导入其中。这是 csv 文件的要点。

firstname, middlename, lastname, address1, address2, city, state, zip, country
Rajath,,A,No 20 GN,16th cross,Bangalore,KA,560029,IN
Rajath1,,,No 75,,Dharwad,KA,560057,IN
Rajath2,,B,No 66,,Haveri,KA,560034,IN
Rajath3,,D,No 24A ,25th cross,Raichur,KA,560095,IN
Rajath4,,,No 36B,,Coorg,KA,,IN

我成功地将它插入到数据库中。这是插入的文档。

{
    "firstname" : "Rajath4",
    "middlename" : "",
    "lastname" : "",
    "address1" : "No 36B",
    "address2" : "",
    "city" : "Coorg",
    "state" : "KA",
    "zip" : "",
    "country" : "IN"
}

它甚至插入空白/空值。有没有办法指定在插入 ML 时忽略空白/空字段？这就是我所期待的。

{
    "firstname" : "Rajath4",
    "address1" : "No 36B",
    "city" : "Coorg",
    "state" : "KA",
    "country" : "IN"
}

以及如何为我们插入的每个文档维护自动生成的primary_key/sequence？如果 id 已经存在，则应该合并/更新文档。

提前致谢。

Answer 1

您可以使用自定义转换，通过自己的代码过滤数据。

MLCP 还能够执行唯一的 ID - 但每次运行，而不是全局。但幸运的是，自定义转换功能还允许您根据需要更改 URI(这样您就可以提供使其独一无二的逻辑)——解决您的两个挑战。

DOC: https://docs.marklogic.com/guide/mlcp.pdf

相关部分:
- 4.17 - 自定义转换
- 4.17.5 - 示例转换(此处添加您的代码来过滤内容。根据您的情况，您可能更喜欢调用 javascript 中的函数。但这完全是个人选择。)
- 4.17.6 - 更改 URI

有趣注释 4.17.6 还包括解释如何更改文档类型。如果您是 xslt 人员，您可能会决定让 MLCP 提供 XML，然后提供一个模板来清除空元素，最后转换并保存到 json 对象。

<小时/>

请注意:如果您将 MLCP 与快速加载选项一起使用，那么我认为更改 URI 将抵消快速加载(或类似的东西)的好处