- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
在我的 Haskell 项目之一的 RuzzSolver 中使用 TemplateHaskell 时,我遇到了内存消耗问题。 Sources of RuzzSolver are available on GitHub .
为了获得良好的性能,我将约 380000 个单词的字典加载到 Tree
结构中(来自容器包)。这大大加快了网格的求解速度,但加载本身需要一些时间(1 到 2 秒之间,具体取决于 CPU)。
我想在编译时使用 TemplateHaskell 直接创建结构。
因此我改造了字典加载:
-- Dictionary.hs, line 155
getDictionary :: String -> IO Dictionary
getDictionary dictionaryFilePath = do
content <- readFile dictionaryFilePath
return $ foldl (+++) [] (createTree <$> lines content)
进入这个函数:
-- Dictionary.hs, line 164
getDictionaryQ :: String -> Q Exp
getDictionaryQ dictionaryFilePath = do
content <- runIO $ readFile dictionaryFilePath
lift $ foldl (+++) [] (createTree <$> lines content)
它让我可以从:
-- ruzzSolver.hs, line 68
dictionary <- getDictionary "dictionary/ruzzdictionary.txt"
到:
-- ruzzSolver.hs, line 68
let dictionary = $(getDictionaryQ "dictionary/ruzzdictionary.txt")
它(应该)可以工作,但是编译需要太多内存!在我的 8 Gb PC 上,当 GHC 达到 12 GB 的消耗量时,我不得不停止它。将词典减少到 38000 个单词可以编译,但它仍然需要 3 到 4 GB。
有没有办法让 GHC 在编译这段 TemplateHaskell 代码时使用更少的内存?或者以其他方式将此结构嵌入到可执行文件中?
最佳答案
也许您可以将 trie 树“嵌入”到可执行文件中以节省加载和创建时间,但我预见到的一个问题是,与其他语言的数据结构相比,传统的 Haskell 数据结构非常臃肿。
此外,大多数容器都允许插入和删除,但看起来您的数据是常量,因此您只需要最终的数据结构。此外,您只会将它用于以下查询:
你想要一个紧凑的字典表示,带有某种预先计算的索引来加快查找速度。
一些选项:
Option 1: Create a BerkeleyDB database.
这样的数据库允许大于和小于查询。
优点:没有数据库加载时间。
缺点:查询需要磁盘访问。虽然,一旦页面被操作系统读取,它们应该被缓存并且后续读取应该很快。
注意 - 我已经使用 Berkeley DB 在 perl 中编写了一个 boggle 求解器,因此这种方法非常可行。
与 BerkeleyDB 类似的是 CDB(常量数据库),它也有一个 Haskell 包。但是,CDB 仅支持相等查询,因此它可能不适用于您的应用程序。
Option 2. Represent the dictionary simply as the sorted file of the words. Create a custom index to make queries efficient.
一个简单的索引可以是一个 26*26*26 的元素数组,指示每个三字母前缀在文件中的偏移量。这么小的索引就可以编进程序了。将字典加载为单个(严格的)ByteString。
在字节串中使用索引和二进制搜索来解决查询。也许 ByteString 函数在这里会很好地工作,但作为最后的手段,您始终可以使用 Int 偏移量到加载的字典中作为“指针”,您可以四处移动以找到下一个单词的开头。
您可能能够将字典 ByteString 编译成可执行文件,但加载 4 MB 的数据应该不会花费太长时间 - 特别是如果它已经在操作系统缓存中。
更新:第二个想法的例子可以在here中找到。 .
关于haskell - TemplateHaskell 编译时的内存使用情况,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32489464/
在 Haskell 中,类型声明使用双冒号,即 (::),如 not::Bool -> Bool。 但是在许多语法与 Haskell 类似的语言中,例如榆树、 Agda 、他们使用单个冒号(:)来声明
insertST :: StateDecoder -> SomeState -> Update SomeState SomeThing insertST stDecoder st = ... Stat
如果这个问题有点含糊,请提前道歉。这是一些周末白日梦的结果。 借助 Haskell 出色的类型系统,将数学(尤其是代数)结构表达为类型类是非常令人愉快的。我的意思是,看看 numeric-prelud
我有需要每 5 分钟执行一次的小程序。 目前,我有执行该任务的 shell 脚本,但我想通过 CLI 中的键为用户提供无需其他脚本即可运行它的能力。 实现这一目标的最佳方法是什么? 最佳答案 我想你会
RWH 面世已经有一段时间了(将近 3 年)。在在线跟踪这本书的渐进式写作之后,我渴望获得我的副本(我认为这是写书的最佳方式之一。)在所有相当学术性的论文中,作为一个 haskell 学生,读起来多么
一个经典的编程练习是用 Lisp/Scheme 编写一个 Lisp/Scheme 解释器。可以利用完整语言的力量来为该语言的子集生成解释器。 Haskell 有类似的练习吗?我想使用 Haskell
以下摘自' Learn You a Haskell ' 表示 f 在函数中用作“值的类型”。 这是什么意思?即“值的类型”是什么意思? Int 是“值的类型”,对吗?但是 Maybe 不是“值的类型”
现在我正在尝试创建一个基本函数,用于删除句子中的所有空格或逗号。 stringToIntList :: [Char] -> [Char] stringToIntList inpt = [ a | a
我是 Haskell 的新手,对模式匹配有疑问。这是代码的高度简化版本: data Value = MyBool Bool | MyInt Integer codeDuplicate1 :: Valu
如何解释这个表达式? :t (+) (+3) (*100) 自 和 具有相同的优先级并且是左结合的。我认为这与 ((+) (+3)) (*100) 相同.但是,我不知道它的作用。在 Learn
这怎么行 > (* 30) 4 120 但这不是 > * 30 40 error: parse error on input ‘*’ 最佳答案 (* 30) 是一个 section,它仍然将 * 视为
我想创建一个函数,删除满足第二个参数中给定谓词的第一个元素。像这样: removeFirst "abab" ( 'b') = "abab" removeFirst [1,2,3,4] even =
Context : def fib(n): if n aand returns a memoized version of the same function. The trick is t
我明白惰性求值是什么,它是如何工作的以及它有什么优势,但是你能解释一下 Haskell 中什么是严格求值吗?我似乎找不到太多关于它的信息,因为惰性评估是最著名的。 他们各自的优势是什么。什么时候真正使
digits :: Int -> [Int] digits n = reverse (x) where x | n digits 1234 = [3,1,2,4]
我在 F# 中有以下代码(来自一本书) open System.Collections.Generic type Table = abstract Item : 'T -> 'U with ge
我对 Haskell 比较陌生,过去几周一直在尝试学习它,但一直停留在过滤器和谓词上,我希望能得到帮助以帮助理解。 我遇到了一个问题,我有一个元组列表。每个元组包含一个 (songName, song
我是 haskell 的初学者,我试图为埃拉托色尼筛法定义一个简单的函数,但它说错误: • Couldn't match expected type ‘Bool -> Bool’
我是 Haskell 语言的新手,我在使用 read 函数时遇到了一些问题。准确地说,我的理解是: read "8.2" + 3.8 应该返回 12.0,因为我们希望返回与第二个成员相同的类型。我真正
当我尝试使用真实项目来驱动它来学习 Haskell 时,我遇到了以下定义。我不明白每个参数前面的感叹号是什么意思,我的书上好像也没有提到。 data MidiMessage = MidiMessage
我是一名优秀的程序员,十分优秀!