- xml - AJAX/Jquery XML 解析
- 具有多重继承的 XML 模式
- .net - 枚举序列化 Json 与 XML
- XML 简单类型、简单内容、复杂类型、复杂内容
对于在 Clojure 中处理大型数据结构,惰性序列提供了一种很好的惯用方法。需要小心避免头部不过,保留。
我很难像这样处理大型树结构:
R Root
__________|____________________
A B C, D, E, ... 1st Level Children
_______|_______ _______|_______
X Y Y ... Y X Y X Y Y ... Y X Y 2nd Level Children
:content
的映射。任何 :content
的值都是一个惰性序列,其中包含该节点的所有子节点。Y
项目太多。Y
项的整个树都适合内存。处理完这棵树后,我想得到一棵新树,其中所有 Y
节点都被删除了:
R
______|__________________
A B C, D, E, ...
_____|___ _____|___
X X ... X X X ... X
;; Generating example data
;;;;;;;;;;;;;;;;;;;;;;;;;;
(defn root [content]
{:tag :root :content content})
(defn lazy-elements [n tag content]
(lazy-seq (repeat n {:tag tag :content content})))
(defn level-1 [content]
(lazy-elements 3 :A content))
(defn level-2 [n]
(concat (lazy-elements 10 :X '(:leaf))
(lazy-elements n :Y '(:leaf))))
(defn remove-nodes [node]
(remove #(= (:tag %) :Y) node))
;; Illustrating usage
;;;;;;;;;;;;;;;;;;;;;
;; runs and runs and runs... and eventually returns correctly
(defn valid-run []
(->> (root (level-1 (level-2 1e8)))
:content
first
:content
remove-nodes))
;; Does not terminate properly, runs out of memory
(defn invalid-run []
(->> (root (level-1 (level-2 1e8)))
:content
(map :content) ; source of head retention
(map remove-nodes)))
第二个示例会崩溃(根据可用内存,可能需要调整 2 级项目的数量)。映射在:content
所有级别 1 的项目都引入了一个引用,这会在循环遍历所有内容项目时导致头部保留问题删除不需要的 :Y
项。
我能够使用来自 valid-run
之类的数据,将其放入一个保持可变状态的 var 中,对所有相关节点执行此操作然后再次将所有数据拼接在一起。但我对这种方法非常不满意,因为它必须依赖于可变性最后必须使用一些非常命令式的代码来合并数据(例如,遍历列表的索引)。
如何以功能性、声明性的方式实现这一点?理想情况下,我希望避免使用可变状态以及过于迫切(例如,使用索引等将集合拼接在一起)。
以下文章和片段是关于该问题各个方面的有趣读物:
最终我需要它来处理大型 XML 文件。大意味着 >1GB 并且将其解析为树将不适用于可用的内存。我想从那个 XML 中将一些元素放入桶 A(假设是一个数据库表),并将所有其余的 XML 树放入桶中B. 提取出来的子树当然要保留XML结构。
除了将 XML 解析成树,我还可以将 XML 作为事件流处理,例如通过 data.xml/source-seq .然而,这意味着失去 XML 树语义。会工作,但不漂亮。但也许还有其他方法可以处理首先是 XML。
最佳答案
问题是您的 level-2
节点都有指向同一个内存中惰性序列的指针,然后您多次映射该序列。如果你只是让 valid-run
处理第一个和第二个节点,你会遇到同样的问题 - 节点的数量并不重要,因为你用任何两个节点来破坏堆。在实际应用程序中,您从数据库或文件或其他任何地方读取这些节点,它们将指向不同的对象,您可以依次延迟处理这些对象。
如果您生成更具代表性的示例数据(即,相同的数据但没有结构共享),您可以在处理它时对每个节点进行 GC:
(defn root' [content]
(fn []
{:tag :root :content (content)}))
(defn lazy-elements' [n tag content]
(repeatedly n (fn [] {:tag tag :content (content)})))
(defn level-1' [content]
(fn []
(lazy-elements' 3 :A content)))
(defn level-2' [n]
(fn []
(concat (lazy-elements' 10 :X (fn [] '(:leaf)))
(lazy-elements' n :Y (fn [] '(:leaf))))))
(defn remove-nodes [node]
(remove #(= (:tag %) :Y) node))
(defn run []
(let [root-builder (root' (level-1' (level-2' 1e8)))]
(->> (root-builder)
:content
(map :content)
(map remove-nodes))))
user> (pprint (run))
(({:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)})
({:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)})
({:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)}
{:tag :X, :content (:leaf)}))
由于我们只是生成示例内容,我已经调整了所有节点构建器,而不是他们应该存储 N 个副本的对象,而是他们应该调用 N 次以获得 N 个不同对象的函数。它们不是返回一个节点,而是返回一个函数,该函数在被调用时会生成该节点的副本;这使它们可以像您的原始版本一样好地组合,只需要在外层调用一个额外的函数。如果您实际上已经有了不同的对象,就像我怀疑您在实际应用程序中会有的那样,您可以只使用编写的原始函数。
关于xml - 从大型 Clojure 树结构中的惰性序列中删除元素,避免头部保留,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32667778/
我正在扩展 baseClass 监听器并尝试读取一些值,但是顺序中似乎没有任何层次结构。 我的语法的精简版如下: start: config_options+ config_options: (KEY
XML文档是一种树形结构,它从 根部 开始,然后扩展到 枝叶 一个 XML 文档范例 XML文档使用的是简单的具有自我描述性的语法 我们拿之间的小红写给小明的情书作为范例 <?xml v
要了解我想做什么,这里有一个简单的解释:我想创建模板。 一个"template"有一个“面板”这个“面板”有一些“项目”和另一个“面板”我们必须一步一步地做,直到最后一个“Item” 我想要这样的东西
我的数据结构如下。 A A1 A2 B B1 C C1 C2 C3 这些信息转移到两个名为group1和group2的表中。 group1有第一层数据和中间层数据。 gro
所以我有一个如下所示的树结构,其中我在叶节点中有一个计数属性。我想总结计数并将计数总和与其父项进行比较。比 parent1 和 parent2 有他们的 child 的总和。然后从那里继续,所以 gr
我有以下 json : var jsonObj = [ { "parentIndex": '0' ,
我正在尝试创建一个包含任意数量子类别的类别列表,其中子类别也可以有自己的子类别。 我从 Mysql 数据库中选择了所有类别,猫在标准关联数组列表中,每个类别都有一个 id、名称、parentid,如果
我想动态构建层次结构,每个节点创建为层次结构中的一个层/级别,具有自己的节点数组。这应该形成一个树结构。应该有一个根节点,以及未定义数量的节点和级别来构成层次结构大小。除了根节点之外,什么都不应该被修
我正在浏览 Wikitravel API,我注意到他们提供的 XML 文件只是将所有信息集中在一个大 blob 中。示例:http://wikitravel.org/en/Special:Export
我正在尝试设置一个UITableView来显示嵌套的线程项目。我正在使用 Core Data 和 NSFetchedResultsController,但不确定我的方法应该是什么。我想显示这样的信息:
我有一个这样的表数据库: tree{id,name,parent}content{id,content,parent}tree 表包含一个树状结构,如果 parent 是 0,它是顶级元素,如果不同,
我有一个像这样的 json 对象数组: [{ "vehicleid": 3, "name": "Teste2VDD", "brand": "Scania", "mode
我有一个 json 树结构,通过按此 fiddle 上的调用来附加该结构:http://jsfiddle.net/adrianjsfiddlenetuser/C6Ssa/4/ 按 fiddle 上的调
我需要使用 prefuse 可视化一个 xml 文件,但由于其大小,我必须一次仅加载文件的一部分,并将它们表示为 prefuse 中的树结构。我设法加载并可视化第一棵树,其中包含所有 xml 元素的深
我有一个包含如下数据的文件: ID attribute 1 'text' 101 'text' 1011 'text' 10111 'text' 1011101 'text' 1011102 'tex
这是我的数据结构: { projects: [ { revisions: [ { files: [] }, ], } ], us
我有一个列表需要转换成json格式。 这个.. var sourceList = [ { title: "item-1", indent: "0" }, { title: "item-
我希望我的内容有一个树/文件夹结构,但希望所有页面都作为一个平面 URL。例如 位于/cat1/subcat2/tulips.html 的页面将在以下位置提供: http://example.com/
简单来说 我有一个由对象组成的树结构。 是否可以构建该树并向每个对象添加对其父对象的引用? 我知道引用适用于对象,但我不确定在这种情况下是否有效? 我希望能够写出这样的东西 currentLevel
我创建了一个涉及学校学生的项目。当我开始构建这个项目时,我遇到了三个主要问题: 1)推荐或更好的 JSON 树结构? schools grades users(uids) in
我是一名优秀的程序员,十分优秀!