machine-learning - 使用 ChatBot 订购电影票

Question

我的问题与我刚刚开始从事的项目有关，它是一个 ChatBot。

我想要构建的机器人有一个非常简单的任务。它必须使购买电影票的过程自动化。这是一个非常接近的域，机器人拥有对电影数据库所需的所有访问权限。当然，如果用户消息与订购电影票的过程无关，机器人可以回答“我不知道”。

我已经创建了一个简单的演示，只是为了向一些人展示它，看看他们是否对这样的产品感兴趣。该演示使用简单的 DFA 方法和一些简单的文本匹配与词干提取。我花了一天的时间就破解了它，结果用户对能够成功订购他们想要的门票印象深刻。 (该演示使用与电影院数据库的连接为用户提供订购他们想要的门票所需的所有信息)。

我当前的目标是创建下一个版本，一个更高级的版本，特别是在自然语言理解方面。例如，演示版本要求用户在一条消息中仅提供一个信息，并且无法识别他们是否提供了更多相关信息(例如电影标题和时间)。我读到这里有一个有用的技术称为“框架和槽语义”，它似乎很有前途，但我还没有找到有关如何使用此方法的任何详细信息。

此外，我不知道哪种方法最适合提高自然语言理解。在大多数情况下，我认为:

1. 使用“标准”NLP 技术更好地理解用户消息。例如，同义词数据库、拼写纠正、词性标签、训练一些基于统计的分类器来捕获单词之间(或者整个句子之间，如果可能的话？)的相似性和其他关系等。
2. 使用 AIML 对对话流进行建模。我不确定在这样一个封闭的领域使用 AIML 是否是一个好主意。我从来没有用过它，所以这就是我问的原因。
3. 使用更“现代”的方法并使用神经网络来训练分类器以进行用户消息分类。然而，它可能需要大量标记数据
4. 还有其他我不知道的方法吗？

哪种方法最适合我的目标？

你知道我在哪里可以找到更多有关“框架和槽语义”如何详细工作的资源吗？我指的是这个 PDF from Stanford当谈论框架和插槽方法时。

Answer 1

这个问题相当广泛，但这里有一些想法和实用建议，基于类似问题领域的 NLP 和基于文本的机器学习的经验。

我假设虽然这是聊天机器人的“更高级”版本，但实际上可以进行的工作范围非常有限。在我看来，这是一个非常重要的因素，因为不同的方法在工作所需的手动工作量和类型上存在很大差异，而且最先进的技术在这里可能基本上无法实现。

一般来说，要考虑的两种主要方法是基于规则的方法和统计方法。第一个传统上更关注模式匹配，并且在您描述的设置中(可以投入有限的精力)，将涉及手动处理规则和/或模式。这种方法的一个例子是使用一组封闭(但很大)的模板来匹配用户输入(例如使用正则表达式)。这种方法在性能方面通常存在“玻璃天花板”，但可以相对较快地产生相当好的结果。

统计方法更多地是为某些机器学习算法提供一堆数据，并让它从中提取规律，将手动工作集中在收集和标记良好的训练集上。在我看来，为了获得“足够好”的结果，您需要的数据量可能会非常大，除非您能想出一种方法来轻松收集大量至少部分标记的数据。

实际上我建议在这里考虑采用混合方法。使用一些基于机器学习的统计通用工具从用户输入中提取信息，然后应用手动构建的规则/模板。例如，您可以使用 Google 的 Parsey McParseface进行语法分析，然后对结果应用一些规则引擎，例如将动词与“购买”等可能的操作列表进行匹配，使用提取的语法关系来查找电影名称的候选者等。这应该会让您很快得到很好的结果，因为句法解析器的强度将允许“理解”甚至是复杂且可能令人困惑的句子。

我还建议推迟您考虑做的一些元素，例如拼写纠正，甚至词干和同义词数据库 - 因为问题相对封闭，您可能会通过投资规则/模板获得更好的投资返回率- 框架和手动规则创建。此建议也适用于对话流的显式建模。