gpt4 book ai didi

Ruby 文本分析

转载 作者:数据小太阳 更新时间:2023-10-29 06:41:38 25 4
gpt4 key购买 nike

是否有任何 Ruby gem 或用于文本分析的其他工具?词频、模式检测等(最好懂法语)

最佳答案

词频的概括是语言模型,例如uni-grams(=单个单词频率),bi-grams(=单词对的频率),tri-grams(=世界三元组的频率),...,一般来说:n-grams

您应该寻找一个现有的语言模型工具包——在这里重新发明轮子不是一个好主意。

有一些可用的标准工具包,例如来自 CMU Sphinx 团队,还有 HTK。

这些工具包通常是用 C 编写的(为了速度!!因为你必须处理大量的语料库)并生成标准输出格式的 ARPA n-gram 文件(这些通常是文本格式)

检查以下线程,其中包含更多详细信息和链接:

Building openears compatible language model

使用这些工具包之一生成语言模型后,您将需要一个 Ruby Gem 使语言模型可以在 Ruby 中访问,或者您需要将 ARPA 格式转换为您自己的格式。

adi92 的帖子列出了更多 Ruby NLP 资源。

您也可以通过 Google 搜索“ARPA 语言模型”以获取更多信息

最后检查 Google's online N-gram tool .他们根据数字化的书籍构建了 n-gram——也提供法语和其他语言版本!

关于Ruby 文本分析,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7603483/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com