azure - 虚拟助理 -> LUIS、QnA、调度程序最佳实践

Question

对于我们使用 LUIS、QnA Maker 所面临的某些问题(特别是调度程序)，我对一些“最佳实践”有一些疑问:

1) 如果 Dispatcher 中有超过 15k 条语句，是否有最佳实践？这看起来像是 LUIS 应用程序的限制，但从长远来看，模型的可扩展性将受到质疑。

2) 例如，LUIS 的 Bing 拼写检查会更改姓名，如何避免这种情况？我想当我们谈论 ChatBot 时，Bing 拼写检查是必要的，因为拼写错误总是在门后，但用它来命名是危险的。

3) 不支持开箱即用的交叉验证，您可以使用自定义代码将数据拆分为折叠(并不困难)，使用命令行在 k-1/k 折叠上训练和发布模型，然后将 k 条话语一一发送到 API。仅支持通过 UI 批量上传 https://cognitive.uservoice.com/forums/551524-language-understanding-luis/suggestions/20082157-add-api-to-batch-test-model并且仅限于 1,000 个话语的测试集。如果我们使用一对一的方法，我们为每 1000 笔交易支付 1,50 美元 https://azure.microsoft.com/de-de/pricing/details/cognitive-services/language-understanding-intelligent-services/这意味着要获得 5 倍的交叉验证指标，我们可能需要为当前数据的单个实验支付大约 20 美元，如果我们添加更多数据，则费用会更高。

4)模型是一个黑匣子，它不允许我们在需要时使用自定义功能。

Answer 1

我将尽力以最佳方式解决您的疑虑，具体如下:

1) 根据 LUIS 文档，

因此，您不能超出限制。对于 Dispatch 应用程序，如果总话语超过 15k，则 Dispatch 将对话语进行下采样，使其保持在 15k 以下。 CLI 有一个可选参数( --doAutoActiveLearning )来进行自动主动学习，它将智能地进行下采样(删除不相关的话语)。

--doAutoActiveLearning:(可选)默认为 false。 LUIS 对训练集大小的限制为 15000。当 LUIS 应用有更多的训练话语时，Dispatch 的自动主动学习过程可以智能地对话语进行下采样。<​​/p>

2) 在 LUIS 预测话语的分数和实体之前，Bing 拼写检查可帮助用户更正话语中拼写错误的单词。但是，如果您想避免使用 Bing 拼写检查 API 服务，那么您将需要添加正确和不正确的拼写，可以通过两种方式完成:

• 为具有所有不同拼写的示例话语添加标签，以便 LUIS 可以学习正确的拼写以及拼写错误。与使用拼写检查器相比，此选项需要更多的标记工作。
• 创建包含单词所有变体的短语列表。使用此解决方案，您无需标记示例话语中的单词变体。

3) 根据当前documentation ，每次测试最多允许 1000 个话语。该数据集是一个 JSON 格式的文件，最多包含 1,000 个带标签的非重复话语。您可以在一个应用程序中测试最多 10 个数据集。 如果您需要进行更多测试，请删除一个数据集，然后添加一个新数据集。我建议您在feedback forum中将其报告为功能请求。 .

希望这有帮助。