gpt4 book ai didi

artificial-intelligence - 在文本中查找相关词的算法

转载 作者:行者123 更新时间:2023-12-04 13:24:34 26 4
gpt4 key购买 nike

我想要一个词(例如“Apple)并处理一个文本(或者更多)。我想提出相关的术语。例如:处理Apple的文档并发现iPod,iPhone,Mac是与“苹果”相关的术语。

关于如何解决这个问题的任何想法?

最佳答案

作为起点:您的问题与 text mining 有关.

有两种方法:一种是统计方法,另一种是自然语言处理 (nlp)。

我对 nlp 了解不多,但可以谈谈统计方法:

  • 您需要一些文档的向量空间表示,请参阅
    http://en.wikipedia.org/wiki/Vector_space_model
    http://en.wikipedia.org/wiki/Document-term_matrix
    http://en.wikipedia.org/wiki/Tf%E2%80%93idf
  • 为了学习语义,即:不同的词意思相同,或者一个词可以有不同的意思,你需要一个大的文本语料库来学习。正如我所说,这是一种统计方法,因此您需要大量样本。
    http://www.daviddlewis.com/resources/testcollections/

    也许您有很多来自您要使用的上下文的文档。那是最好的情况。
  • 您必须从该语料库中检索潜在因素。最常见的是:
  • LSA ( http://en.wikipedia.org/wiki/Latent_semantic_analysis )
  • PLSA ( http://en.wikipedia.org/wiki/Probabilistic_latent_semantic_analysis )
  • 非负矩阵分解 ( http://en.wikipedia.org/wiki/Non-negative_matrix_factorization )
  • 潜在狄利克雷分配 ( http://en.wikipedia.org/wiki/Latent_Dirichlet_allocation )

  • 这些方法涉及大量数学。要么你去挖掘它,要么你必须找到好的库。
    我可以推荐以下书籍:
  • http://www.oreilly.de/catalog/9780596529321/toc.html
  • http://www.oreilly.de/catalog/9780596516499/index.html
  • 关于artificial-intelligence - 在文本中查找相关词的算法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7544266/

    26 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com