python - 如何构建一个人工智能系统，该系统可以从语料库中学习并在用户询问与该语料库相关的任何问题时回答用户

Question

我计划构建一个人工智能系统，该系统可以从语料库(文本文件)中学习，并且需要回答像聊天机器人这样的用户的问题，使其成为没有任何预定义数据的简短聊天机器人。

到目前为止，我抓取了一些数据并存储为文本文件，并使用 TF-IDF(余弦相似度)方法让系统回答问题，但准确度水平中等

def response(user_response):
    robo_response=''
    sent_tokens.append(user_response)
    TfidfVec = TfidfVectorizer(tokenizer=LemNormalize, stop_words='english')
    tfidf = TfidfVec.fit_transform(sent_tokens)
    vals = cosine_similarity(tfidf[-1], tfidf)
    idx=vals.argsort()[0][-2]
    flat = vals.flatten()
    flat.sort()
    req_tfidf = flat[-2]
    if(req_tfidf==0):    
        robo_response=robo_response+"cant understand"
        return robo_response
    else:
        robo_response = robo_response+sent_tokens[idx]
        return robo_response

我使用的TD-IDF方法

是否有其他方法可以构建一个系统来稍微准确地完成工作？

Answer 1

您想做的事情的 PFA 链接。

https://demo.allennlp.org/reading-comprehension https://towardsdatascience.com/elmo-contextual-language-embedding-335de2268604

它们已经构建了系统，可以让您做到这一点。

如果您想从头开始构建类似的东西，则需要对处理后的文本执行很多过程。

Tfidf 是一种 BoW(词袋)算法，可以帮助您识别意图，但不能识别这些意图之间的关系。从向量化 tfidf 获得的矩阵和标签只会告诉机器，如果对于某些文本，获得类似的矩阵，这就是标签。这对于分类来说很方便，但对于聊天机器人的响应则不那么方便。

要从聊天机器人获取响应:- 将文本分割成句子。-使用各种技术来获取文本的上下文，目前XLNet提供了最好的结果(https://medium.com/dair-ai/xlnet-outperforms-bert-on-several-nlp-tasks-9ec867bb563b)。这将帮助您制定对通过聊天机器人提出的问题的答复。以上是一些基本步骤，实际的人工智能系统将涉及更多。