python - 协同过滤 : Non-Personalized item-to-item similarity

Question

我正在尝试按照亚马逊的“查看/购买 X 的客户也查看/购买了 Y 和 Z”的思路计算商品与商品的相似性。我看到的所有示例和引用资料都用于计算已排序项目的项目相似性、查找用户与用户的相似性，或用于根据当前用户的历史查找推荐项目。在考虑当前用户的偏好之前，我想从一种非针对性的方法开始。

查看 Amazon.com recommendations white paper ，他们使用以下逻辑来实现离线项目间的相似性:

For each item in product catalog, I1 
  For each customer C who purchased I1
    For each item I2 purchased by customer C
       Record that a customer purchased I1 and I2
  For each item I2 
    Compute the similarity between I1 and I2

如果我理解正确，当我们在“计算 I1 和 I2 之间的相似性”时，我有一个与单个值 I1(外循环)一起购买的项目 (I2) 的列表。

这个计算是如何进行的？

另一个想法是，我想得太多了，让它变得比我需要的更难——对与 I1 一起购买的 I2 的数量进行前 n 次查询就足够了吗？

我也很欣赏关于这种方法是否正确的建议。我的产品数据库随时都有大约 150k 项。由于我看到的大部分阅读 Material 都显示了用户与项目的相似性，甚至是用户与用户的相似性，我是否应该改用这条路线。

我过去曾使用过相似性算法，但它们总是涉及排名或分数。我认为唯一可行的方法是构建一个客户-产品矩阵，针对未购买/购买的评分为 0/1。考虑到购买历史和商品大小，这可能会变得非常大。

编辑:虽然我将 python 列为标签，但我更愿意将逻辑保留在数据库中，最好使用 Oracle PL/SQL。

Answer 1

让我们了解项目到项目协同过滤。假设我们有购买矩阵

        Item1  Item2 ... ItemN
 User1  0        1   ...  0
 User2  1        1   ...  0 
  .
  .
  .
 UserM  1        0   ...  0

然后我们可以使用列向量计算项目相似度，例如使用余弦。我们有一个项目相似度对称矩阵如下

        Item1  Item2 ... ItemN
 Item1  1       1/M  ...  0
 Item2  1/M     1    ...  0 
  .
  .
  .
 ItemN  0       0    ...  1

可以解释为“查看/购买了 X 的客户也查看/购买了 Y、Z、...”(协同过滤)。因为Item的向量化是基于用户购买的。

亚马逊的逻辑与上述完全相同，目标是提高效率。正如他们所说

We could build a product-to-product matrix by iterating through all item pairs and com- puting a similarity metric for each pair. However, many product pairs have no common customers, and thus the approach is inefficient in terms of processing time and memory usage. The iterative algorithm provides a better approach by calculating the similarity between a single prod-uct and all related products