python - 使用 TF-IDF 和余弦相似度匹配短语

Question

我有一个如下所示的数据框:

question                                answer
Why did the chicken cross the road?     to get to the other side
Who are you?                            a chatbot
Hello, how are you?                     Hi
.
.
.  

我想做的是使用 TF-IDF 在此数据集上进行训练。当用户输入短语时，将使用余弦相似度选择与该短语最匹配的问题。我可以通过这种方式为训练数据集上的句子创建 TF-IDF 值，但是如何使用它来查找用户输入的新短语的余弦相似度得分？

from sklearn.feature_extraction.text import TfidfVectorizer
v = TfidfVectorizer()
x = v.fit_transform(intent_data["sentence"])

Answer 1

我认为你需要类似的东西

from sklearn.metrics.pairwise import cosine_similarity
cosine_similarities = cosine_similarity(x, v.transform(['user input'])).flatten()
best_match_index = cosine_similarities.argmax()