xml - Clojure 中的巨大 XML

Question

我是 Clojure 的新手，我的第一个项目必须处理巨大的 (250+GB) XML 文件。我想把它放到 PostgreSQL 中以便稍后处理，但不知道如何处理这么大的文件。

Answer 1

我使用新的 clojure.data.xml 在普通笔记本电脑上处理 31GB 的维基百科转储。旧的 lazy-xml contrib 库对我不起作用(内存不足)。

https://github.com/clojure/data.xml

简化的示例代码:

(require '[clojure.data.xml :as data.xml]) ;'

(defn process-page [page]
  ;; ...
  )

(defn page-seq [rdr]
  (->> (:content (data.xml/parse rdr))
       (filter #(= :page (:tag %)))
       (map process-page)))