个人中心
gpt4 book ai didi

marklogic - 使用索引数据计算非结构化文档中的所有唯一单词

转载 作者：行者123 更新时间：2023-12-04 23:54:24 24 4
gpt4 key购买 nike

我已经将非结构化的 HTML 文档加载到 Marklogic 中，并且，对于任何给定的文档 URI，我需要一种方法来使用索引/词典来为所有唯一单词提供单词计数。

例如，假设我有以下文件，保存在 URI“/html/example.html”下:

<html>
<head><title>EXAMPLE</title></head>
<body>
<h1>This is a header</h1>
<div class="highlight">This word is highlighted</div>
<p> And these words are inside a paragraph tag</p>
</body>
</html>

在 XQuery 中，我会通过传入 URI 来调用传入 a 的函数，并获得以下结果:

EXAMPLE 1
This 2
is 2
a 2
header 1
word 1
highlighted 1
And 1
these 1
words 1
are 1
inside 1
paragraph 1
tag 1

请注意，我只需要对标签内的单词进行字数统计，而不是对标签本身进行统计。

有什么方法可以有效地做到这一点(使用索引或词典数据？)

谢谢，

小偷

最佳答案

您要求“针对任何给定文档 URI”的字数统计。但是您假设解决方案涉及索引或词典，这不一定是一个好的假设。如果您想从面向文档的数据库中获取特定于文档的内容，通常最好直接处理文档。

因此，让我们专注于针对单个文档的高效字数统计解决方案，然后从那里着手。好吗？

下面是我们如何获取单个元素(包括所有子元素)的字数。这可能是您文档的根目录:doc($uri)/*。

declare function local:word-count($root as element())
as map:map
{
  let $m := map:map()
  let $_ := cts:tokenize(
    $root//text())[. instance of cts:word]
    ! map:put($m, ., 1 + (map:get($m, .), 0)[1])
  return $m
};

这会生成一个 map ，我发现它比平面文本更灵活。每个键是一个词，值是计数。变量 $doc 已经包含您的示例 XML。

let $m := local:word-count($doc)
for $k in map:keys($m)
return text { $k, map:get($m, $k) }

inside 1
This 2
is 2
paragraph 1
highlighted 1
EXAMPLE 1
header 1
are 1
word 1
words 1
these 1
tag 1
And 1
a 2

请注意， map 键的顺序是不确定的。如果您愿意，可以添加一个 order by 子句。

let $m := local:word-count($doc)
for $k in map:keys($m)
let $v := map:get($m, $k)
order by $v descending
return text { $k, $v }

如果您想查询整个数据库，Geert 使用 cts:words 的解决方案可能看起来很不错。它使用词典作为单词列表，并使用一些索引查找来进行单词匹配。但它最终会为每个单词词典单词的每个匹配文档遍历 XML:O(nm)。要正确地做到这一点，代码将必须执行类似于 local:word-count 所做的工作，但一次一个词。许多单词会匹配相同的文档:'the' 可能在 A 和 B 中，'then' 也可能在 A 和 B 中。尽管使用了词典和索引，但通常这种方法比简单地应用 local 更慢:整个数据库的字数。

如果您想查询整个数据库并愿意更改 XML，您可以将每个单词包装在 word 元素(或您喜欢的任何元素名称)中。然后在word 上创建一个字符串类型的元素范围索引。现在您可以使用 cts:values 和 cts:frequency 直接从范围索引中提取答案。这将是 O(n)，成本比 cts:words 方法低得多，并且可能比 local:word-count 更快，因为不会访问任何文档根本。但是生成的 XML 非常笨拙。

让我们回过头来将 local:word-count 应用于整个数据库。首先调整代码，以便调用者提供 map 。这样我们就可以构建一个包含整个数据库字数统计的 map ，并且我们只查看每个文档一次。

declare function local:word-count(
  $m as map:map,
  $root as element())
as map:map
{
  let $_ := cts:tokenize(
    $root//text())[. instance of cts:word]
    ! map:put($m, ., 1 + (map:get($m, .), 0)[1])
  return $m
};

let $m := map:map()
let $_ := local:word-count($m, collection()/*)
for $k in map:keys($m)
let $v := map:get($m, $k)
order by $v descending
return text { $k, $v }

在我的笔记本电脑上，它在不到 100 毫秒的时间内处理了 151 份文档。大约有 8100 个单词和 925 个不同的单词。从 cts:words 和 cts:search 获得相同的结果只用了不到 1 秒。所以 local:word-count 效率更高，而且可能足以胜任这项工作。

既然您可以高效地构建字数统计图，那么如果可以保存它呢？本质上，您将建立我们自己的字数统计“索引”。这很容易，因为 map 具有 XML 序列化。

(: Construct a map. :)
map:map()
(: The document constructor creates a document-node with XML inside. :)
! document { . }
(: Construct a map from the XML root element. :)
! map:map(*)

因此您可以在插入或更新每个新 XML 文档时调用 local:word-count。然后将字数统计表存储在文档的属性中。使用 CPF 管道，或通过 RecordLoader 使用您自己的代码，或在 REST 上传端点等中执行此操作。

当您需要单个文档的字数统计时，只需调用 xdmp:document-properties 或 xdmp:document-get-properties，然后调用 map:map 右侧 XML 的构造函数。如果您想要对多个文档进行字数统计，您可以轻松编写 XQuery 以将这些映射合并为一个结果。

关于marklogic - 使用索引数据计算非结构化文档中的所有唯一单词，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/25403223/

24 4 0
文章推荐： validation - PrimeFaces 在表单内使用 FileDownload
文章推荐： android - 由于 Hilt 错误，应用程序未初始化
文章推荐： android - 从 Material 轮廓按钮更改颜色不起作用
文章推荐： marklogic - 集群中的最小节点数是多少？
行者123
个人简介

我是一名优秀的程序员,十分优秀！

滴滴打车优惠券免费领取
滴滴打车优惠券
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com