- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
大家见鬼去吧!我正在使用 Stanford Core NLP 软件包,我的目标是对实时推文流进行情绪分析。
按原样使用情绪分析工具返回对文本“态度”的非常糟糕的分析.. 许多正面被标记为中性,许多负面被评为正面。我已经在一个文本文件中获取了超过一百万条推文,但我不知道如何实际训练该工具并创建我自己的模型。
Link to Stanford Sentiment Analysis page
“可以使用 PTB 格式数据集使用以下命令重新训练模型:”
java -mx8g edu.stanford.nlp.sentiment.SentimentTraining -numHid 25 -trainPath train.txt -devPath dev.txt -train -model model.ser.gz
来自 dev.txt 的示例(前 4 代表极性,共 5 ... 4/5 为正)
(4 (4 (2 A) (4 (3 (3 warm) (2 ,)) (3 funny))) (3 (2 ,) (3 (4 (4 engaging) (2 film)) (2 .))))
来自 test.txt 的样本
(3 (3 (2 If) (3 (2 you) (3 (2 sometimes) (2 (2 like) (3 (2 to) (3 (3 (2 go) (2 (2 to) (2 (2 the) (2 movies)))) (3 (2 to) (3 (2 have) (4 fun))))))))) (2 (2 ,) (2 (2 Wasabi) (3 (3 (2 is) (2 (2 a) (2 (3 good) (2 (2 place) (2 (2 to) (2 start)))))) (2 .)))))
来自 train.txt 的样本
(3 (2 (2 The) (2 Rock)) (4 (3 (2 is) (4 (2 destined) (2 (2 (2 (2 (2 to) (2 (2 be) (2 (2 the) (2 (2 21st) (2 (2 (2 Century) (2 's)) (2 (3 new) (2 (2 ``) (2 Conan)))))))) (2 '')) (2 and)) (3 (2 that) (3 (2 he) (3 (2 's) (3 (2 going) (3 (2 to) (4 (3 (2 make) (3 (3 (2 a) (3 splash)) (2 (2 even) (3 greater)))) (2 (2 than) (2 (2 (2 (2 (1 (2 Arnold) (2 Schwarzenegger)) (2 ,)) (2 (2 Jean-Claud) (2 (2 Van) (2 Damme)))) (2 or)) (2 (2 Steven) (2 Segal))))))))))))) (2 .)))
接下来我有两个问题。
每个文件的意义和区别是什么? Train.txt/Dev.txt/Test.txt ?
我如何使用充满推文的原始、未解析的文本文件来训练我自己的模型?
我是 NLP 的新手,所以如果我缺少任何必需的信息或任何东西,请批评!谢谢!
最佳答案
What is the significance and difference between each file? Train.txt/Dev.txt/Test.txt ?
这是标准的机器学习术语。训练集用于(令人惊讶的)训练模型。开发集用于调整模型可能具有的任何参数。你通常会做的是选择一个参数值,在训练集上训练一个模型,然后检查训练后的模型在开发集上的表现如何。然后您选择另一个参数值并重复。此过程可帮助您为模型找到合理的参数值。
完成此操作后,您可以继续测试模型在测试集上的表现。这是看不见的——您的模型以前从未遇到过任何此类数据。测试集与训练集和开发集分开很重要,否则您实际上是在根据之前看到的数据评估模型。这是错误的,因为它不会让您了解模型的实际效果。
How would I train my own model with a raw, unparsed text file full of tweets?
您不能也不应该使用一组未解析的文档进行训练。递归深度模型的全部要点(以及它表现如此出色的原因)是它可以从解析树的每个级别的情感注释中学习。你上面给出的句子可以这样格式化:
(4 (4 (2 A) (4 (3 (3 warm) (2 ,)) (3 funny) ) ) (3 (2 ,) (3 (4 (4 engaging) (2 film)) (2 .) ) ))
通常,情绪分析器使用文档级注释进行训练。你只有一个分数,这个分数适用于整个文档,忽略了文档中的短语可能表达不同情感的事实。斯坦福团队付出了很多努力来注释文档中的每个短语以获取情感。例如,单词 film
本身在情感上是中性的:(2 film)
。然而,短语 engaging film
非常积极:(4 (4 engaging) (2 film)) (2 .)
如果您已标记推文,则可以使用任何其他文档级情感分类器。 sentiment-analysis stackoverflow 上的标签已经有一些很好的答案,我不打算在这里重复。
PS 你给你的推文贴上标签了吗?全部一百万?如果你这样做了,我愿意为那个文件付给你很多钱:)
关于java - 如何训练 Stanford NLP 情感分析工具,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22586658/
我尝试进行词形还原,即识别动词的词形和可能的阿拉伯语词根,例如: يتصل ==> lemma(动词的不定式)==> اتصل ==> root(三字根/Jidr thoulathi) ==> و ص
在执行 NLP 或 IR/IE 相关任务时,是否有人们通常用来删除标点符号和关闭类别词(例如 he, she, it)的停用词列表? 我一直在尝试使用 gibbs 抽样来进行词义消歧的主题建模,并且它
我不知道StackOverflow是否涵盖NLP,所以我来试试。 我有兴趣从特定 Realm 中找到两个词的语义相关性,即“图像质量”和“噪声”。我正在做一些研究,以确定相机的评论对于相机的特定属性是
是否有算法或方法可以评估文本项之间的共同趋势/主题? 例如,假设有四个数据点(文本条目): “我发现学校今天压力很大” “物理测试非常容易。” “我的物理测试根本没有挑战” “每个人都提早离开了,因为
我有兴趣了解有关 Natural Language Processing 的更多信息(NLP)并且我很好奇目前是否有任何不基于字典识别的策略来识别文本中的专有名词?另外,任何人都可以解释或链接到解释当
特征用于模型训练和测试。自然语言处理中的词汇特征和正字法特征有什么区别?例子首选。 最佳答案 我不知道这样的区别,大多数时候当人们谈论词汇特征时,他们谈论的是使用这个词本身,而不是仅使用其他特征,即它
在 NLP 任务中,人们用 SOC(句子开头)和 EOC(句子结尾)注释句子是很常见的。他们为什么这样做? 这是一个任务相关的表现吗?例如,您在 NER 问题中进行填充的原因与您在翻译问题中进行填充的
我一直在研究 NLP 并使用 notepad++ 来处理文本文件。这很好,在某些情况下,但问题是无法使用包含大量文本的大型文件进行锻炼。 VIM 不支持 UTF-8。哪一个是最好的支持 unicode
关闭。这个问题需要更多focused .它目前不接受答案。 想改善这个问题吗?更新问题,使其仅关注一个问题 editing this post . 3年前关闭。 Improve this questi
我在 Stanford CoreNLP demo page 中解析了以下句子和 Stanford parser demo page .尽管两者都会导致可以暗示目的语义的解析(相应地取决于 advcl
语义网和自然语言处理之间究竟有什么区别? 语义网是自然语言处理的一部分吗? 最佳答案 这是两个独立的学科领域,但它们在某些地方确实重叠。因为文档,无论其格式如何,都是由异构语法和语义组成的,所以目标是
我需要解析非结构化文本并将相关概念转换为格式,以便所有三元组可以合并形成一个图。例如如果我有 2 个句子,比如 A improves B 和 B improves C,我应该能够创建一个像这样的图 A
使用 GATE 时,本体在自然语言处理中的作用是什么? 据我了解,在较高层次上,本体允许对由类、它们的实例、这些实例的属性以及域中类之间的关系组成的域进行建模。 但是,在使用 GATE 时创建自定义本
我最后一年的工程项目要求我使用 Java 或 Python 构建一个应用程序,该应用程序使用自然语言处理来总结文本文档。我什至如何开始编写这样的应用程序? 根据一些研究,我刚刚注意到基于提取的摘要对我
我想知道是否可以使用 Stanford CoreNLP检测一个句子是用哪种语言写的?如果是这样,这些算法的精确度如何? 最佳答案 几乎可以肯定,此时斯坦福 COreNLP 中没有语言识别。 “几乎”
我在一家制造可以与 child 交谈的玩具车的公司工作。我们想使用斯坦福核心 NLP 作为解析器。但是,它以 GPL 许可:他们不允许在商业上使用 NLP。我可以从斯坦福 NLP 小组购买其他许可证吗
我想使用 Natural Language Processing Libraries 从句子中找到谓词和主语.这种技术在NLP的世界里有什么名字吗?或者有没有办法做到这一点? Example : He
所以,这个问题可能有点幼稚,但我认为询问 Stackoverflow 的友好人士不会有什么坏处。 我现在的公司已经使用第三方 API 进行 NLP 一段时间了。我们基本上对一个字符串进行 URL 编码
关闭。这个问题不满足Stack Overflow guidelines .它目前不接受答案。 想改善这个问题吗?更新问题,使其成为 on-topic对于堆栈溢出。 3年前关闭。 Improve thi
这可能是一个愚蠢的问题,但是如何迭代解析树作为 NLP 解析器(如斯坦福 NLP)的输出?它都是嵌套的括号,既不是 array 也不是 dictionary 或我使用过的任何其他集合类型。 (ROOT
我是一名优秀的程序员,十分优秀!