python - 如何训练机器标记文本中的单个单词

Question

对于文本(比如):

“我今天要离开印度。我要去美国一周。”“我正从印度前往美国”

我需要训练机器将美国标记为“目的地”，将印度标记为“来源”

我正在使用 SpaCy 的 NER 来提取位置。

我应该如何着手创建训练集并对其进行训练。我的特征向量和标签向量是什么？

Answer 1

我认为可能有前途的一种方法是使用动态内存网络进行问答。他们正在解决的问题是您试图解决的问题的通用版本。在你的情况下，你只会回答两个问题:“来源是什么？”和“目的地是哪里？”。看看 paper还有这个video lecture这解释了相同的方法。

在我看来，生成训练集应该很容易，只要您有足够的训练示例以及源和目标的基本事实。

您还可以利用您只处理 2 个不同问题的事实 - 训练两个不同的模型，而不是计算问题的嵌入，一个用于回答哪个是源，另一个用于找到目的地。