machine-learning - 使用无监督点击日志评估搜索引擎

Question

我有用户在我的网站上进行搜索的日志、他们输入了哪些搜索以及他们点击了哪些结果。我想改进搜索算法。但首先我需要一种衡量其质量的方法。

我知道我可以通过 Amazon Turk 等收集数据并让人们生成测试套件。不过，我想使用我的网站日志中已有的数据。

有人可以告诉我如何做到这一点以及使用哪种算法吗？

谢谢!

Answer 1

这实际上是一个大话题，经常使用一种称为 Interleaving 的在线评估技术。您只有网络服务器日志，还是还创建自定义搜索日志？谷歌分析？

有关以系统为中心的搜索引擎评估的良好介绍性概述以及有关此主题的其他工作的指针，请参阅 Mounia Lalmas 的幻灯片:https://www.slideshare.net/mobile/mounialalmas/an-introduction-to-systemoriented-evaluation-in-information-retrieval

我认为出于实际目的，您可以查看 Daniel Tunkelang 的这篇文章: http://twiggle.com/blog/evaluating-good-search-part-ii-measuring-searcher-behavior?utm_content=59131694

您可以查看首次点击结果的位置(平均排名)，或者如果重构工作量太大，那么简单的点击次数就是一个好的开始。这给了你一个基线。考虑到您的域名以及应用程序的设置方式，您可以查看点击后执行操作(预订、购买、联系等)的频率(转化率)。如果您的网站有一些流量，您可以进行一些 A/B 测试，看看哪些会带来更高的点击率和/或转化率。