- Java锁的逻辑(结合对象头和ObjectMonitor)
- 还在用饼状图?来瞧瞧这些炫酷的百分比可视化新图形(附代码实现)⛵
- 自动注册实体类到EntityFrameworkCore上下文,并适配ABP及ABPVNext
- 基于Sklearn机器学习代码实战
本文博主给大家讲解如何在自己开源的电商项目 newbee-mall-pro 中应用协同过滤算法来达到给用户更好的购物体验效果.
newbee-mall-pro 项目地址
协同过滤算法是一种基于用户或者物品的相似度来推荐商品的方法,它可以有效地解决商城系统中的信息过载问题。协同过滤算法的实践主要包括以下几个步骤:
在原有的商城首页 为你推荐 栏目是使用后台配置的商品列表,基于人为配置。在项目商品用户持续增长的情况下,不一定能给用户推荐用户可能想要的商品.
因此在 v2.4.1 版本中,商城首页 为你推荐 栏目添加了协同过滤算法。按照UserCF基于用户的协同过滤、ItemCF基于物品的协同过滤。 实现了两种不同的推荐逻辑.
UserCF :基于用户的协同过滤。当一个用户A需要个性化推荐的时候,我们可以先找到和他有相似兴趣的其他用户,然后把那些用户喜欢的,而用户A没有听说过的物品推荐给A。 假设用户 A 喜欢物品 A、物品 C,用户 B 喜欢物品 B,用户 C 喜欢物品 A 、物品 C 和物品 D;从这些用户的历史喜好信息中,我们可以发现用户 A 和用户 C 的口味和偏好是比较类似的,同时用户 C 还喜欢物品 D,那么我们可以推断用户 A 可能也喜欢物品 D,因此可以将物品 D 推荐给用户 A。具体代码在 ltd.newbee.mall.recommend.core.UserCF 中.
itemCF :基于物品的协同过滤。预先根据所有用户的历史偏好数据计算物品之间的相似度,然后把与用户喜欢的物品相类似的物品推荐给用户。 假如用户A喜欢物品A和物品C,用户B喜欢物品A、物品B和物品C,用户C喜欢物品A,从这些用户的历史喜好中可以认为物品A与物品C比较类似,喜欢物品A的都喜欢物品C,基于这个判断用户C可能也喜欢物品C,所以推荐系统将物品C推荐给用户C。 具体代码在 ltd.newbee.mall.recommend.core.ItemCF 中.
在 newbee-mall-pro 中,我们基于用户下单的商品数据进行收集和预处理.
/**
* 根据所有用户购买商品的记录进行数据手机
*
* @return List<RelateDTO>
*/
@Override
public List<RelateDTO> getRelateData() {
List<RelateDTO> relateDTOList = new ArrayList<>();
// 获取所有订单以及订单关联商品的集合
List<Order> newBeeMallOrders = orderDao.selectOrderIds();
List<Long> orderIds = newBeeMallOrders.stream().map(Order::getOrderId).toList();
List<OrderItemVO> newBeeMallOrderItems = orderItemDao.selectByOrderIds(orderIds);
Map<Long, List<OrderItemVO>> listMap = newBeeMallOrderItems.stream()
.collect(Collectors.groupingBy(OrderItemVO::getOrderId));
Map<Long, List<OrderItemVO>> goodsListMap = newBeeMallOrderItems.stream()
.collect(Collectors.groupingBy(OrderItemVO::getGoodsId));
// 遍历订单,生成预处理数据
for (Order newBeeMallOrder : newBeeMallOrders) {
Long orderId = newBeeMallOrder.getOrderId();
for (OrderItemVO newBeeMallOrderItem : listMap.getOrDefault(orderId, Collections.emptyList())) {
Long goodsId = newBeeMallOrderItem.getGoodsId();
Long categoryId = newBeeMallOrderItem.getCategoryId();
RelateDTO relateDTO = new RelateDTO();
...
relateDTOList.add(relateDTO);
}
}
return relateDTOList;
}
在推荐算法中,相似度建立是一个非常重要的过程,它标志着算法准不准确,能不能给用户带来好的推荐体验。在 newbee-mall-pro 中,我们将用户之间下单的商品进行相似度计算,因为如果两个用户购买了同一个商品,那么我们认为这两个用户之间是存在联系并且都存在付费行为.
// 遍历订单商品
for (OrderItemVO newBeeMallOrderItem : listMap.getOrDefault(orderId, Collections.emptyList())) {
Long goodsId = newBeeMallOrderItem.getGoodsId();
Long categoryId = newBeeMallOrderItem.getCategoryId();
RelateDTO relateDTO = new RelateDTO();
relateDTO.setUserId(newBeeMallOrder.getUserId());
relateDTO.setProductId(goodsId);
relateDTO.setCategoryId(categoryId);
// 通过计算商品购买次数,来建立相似度
List<OrderItemVO> list = goodsListMap.getOrDefault(goodsId, Collections.emptyList());
int sum = list.stream().mapToInt(OrderItemVO::getGoodsCount).sum();
relateDTO.setIndex(sum);
relateDTOList.add(relateDTO);
}
通过余弦相似度算法计算用户与商品之间的相似度,从而为用户推荐最相似的商品。当两个用户购买了同一个商品时,我们就认为两个用户产生了关联,因此针对两个用户购买的同一个商品进行相似度计算,来建立用户之间的相似度.
余弦相似度是一种用于衡量两个向量之间的相似度的方法,它通过计算两个向量的夹角的余弦值来得到。在商城系统中,余弦相似度可以用于实现基于内容的推荐算法,即根据用户的历史购买或浏览行为,为用户推荐与其兴趣相似的商品。具体来说,可以将每个商品表示为一个特征向量,例如商品的类别、价格、评分等,然后将每个用户表示为一个偏好向量,例如用户购买或浏览过的商品的特征向量的加权平均。这样,就可以利用余弦相似度来计算用户和商品之间的相似度,从而为用户推荐最相似的商品.
计算相关系数,传入用户ID或者物品ID,计算相似度 。
/**
* 计算相关系数并排序
*
* @param key 基于用户协同代表用户id,基于物品协同代表武平id
* @param map 预处理数据集
* @param type 类型0基于用户推荐使用余弦相似度 1基于物品推荐使用余弦相似度
* @return Map<Double, Long>
*/
public static Map<Double, Long> computeNeighbor(Long key,
Map<Long, List<RelateDTO>> map, int type) {
Map<Double, Long> distMap = new TreeMap<>();
List<RelateDTO> items = map.get(key);
map.forEach((k, v) -> {
// 排除此用户
if (!k.equals(key)) {
// 计算关系系数
double coefficient = relateDist(v, items, type);
distMap.put(coefficient, k);
}
});
return distMap;
}
计算两个用户间的相关系数 。
/**
* 计算两个序列间的相关系数
*
* @param xList
* @param yList
* @param type 类型0基于用户推荐使用余弦相似度 1基于物品推荐使用余弦相似度 2基于用户推荐使用皮尔森系数计算
* @return
*/
private static double relateDist(List<RelateDTO> xList,
List<RelateDTO> yList, Integer type) {
List<Integer> xs = Lists.newArrayList();
List<Integer> ys = Lists.newArrayList();
xList.forEach(x -> yList.forEach(y -> {
if (type == 0) {
// 基于用户推荐时如果两个用户购买的商品相同,则计算相似度
if (x.getProductId().longValue() == y.getProductId().longValue()) {
xs.add(x.getIndex());
ys.add(y.getIndex());
}
} else if (type == 1) {
// 基于物品推荐时如果两个用户id相同,则计算相似度
if (x.getUserId().longValue() == y.getUserId().longValue()) {
xs.add(x.getIndex());
ys.add(y.getIndex());
}
}
}));
if (ys.size() == 0 || xs.size() == 0) {
return 0d;
}
// 余弦相似度计算
return cosineSimilarity(xs, ys);
}
余弦相似度计算 。
/**
* 来计算向量之间的余弦相似度,
* 也就是计算两个用户或者两个物品之间的相似度
* @param xs
* @param xs
* @return double
*/
private static double cosineSimilarity(List<Integer> xs,
List<Integer> ys) {
double dotProduct = 0;
double norm1 = 0;
double norm2 = 0;
for (int i = 0; i < xs.size(); i++) {
Integer x = xs.get(i);
Integer y = ys.get(i);
dotProduct += x * y;
norm1 += Math.pow(x, 2);
norm2 += Math.pow(y, 2);
}
return dotProduct / (Math.sqrt(norm1) * Math.sqrt(norm2));
}
基于用户协同的推荐生成,我们可以先找到和目标用户有相似兴趣的其他用户,然后把其他用户喜欢的,而目标用户没有买过的物品推荐给目标用户.
public class UserCF {
/**
* 物用户协同推荐
*
* @param userId 用户ID
* @param num 返回数量
* @param list 预处理数据
* @return 商品id集合
*/
public static List<Long> recommend(Long userId, Integer num,
List<RelateDTO> list, Integer type) {
// 对每个用户的购买商品记录进行分组
Map<Long, List<RelateDTO>> userMap = list.stream()
.collect(Collectors.groupingBy(RelateDTO::getUserId));
// 获取其他用户与当前用户的关系值
Map<Double, Long> userDisMap = CoreMath.computeNeighbor(userId, userMap, type);
List<Long> similarUserIdList = new ArrayList<>();
List<Double> values = new ArrayList<>(userDisMap.keySet());
values.sort(Collections.reverseOrder());
List<Double> scoresList = values.stream().limit(3).toList();
// 获取关系最近的用户
for (Double aDouble : scoresList) {
similarUserIdList.add(userDisMap.get(aDouble));
}
List<Long> similarProductIdList = new ArrayList<>();
for (Long similarUserId : similarUserIdList) {
// 获取相似用户购买商品的记录
List<Long> collect = userMap.get(similarUserId).stream()
.map(RelateDTO::getProductId).toList();
// 过滤掉重复的商品
List<Long> collect1 = collect.stream()
.filter(e -> !similarProductIdList.contains(e)).toList();
similarProductIdList.addAll(collect1);
}
// 当前登录用户购买过的商品
List<Long> userProductIdList = userMap.getOrDefault(userId,
Collections.emptyList()).stream().map(RelateDTO::getProductId).toList();
// 相似用户买过,但是当前用户没买过的商品作为推荐
List<Long> recommendList = new ArrayList<>();
for (Long similarProduct : similarProductIdList) {
if (!userProductIdList.contains(similarProduct)) {
recommendList.add(similarProduct);
}
}
Collections.sort(recommendList);
return recommendList.stream().distinct().limit(num).toList();
}
}
基于物品协同的推荐生成,找出与目标用户购买过的商品中最相似的前几个商品中目标用户也没有买过的商品推荐给用户.
public class ItemCF {
/**
* 物品协同推荐
*
* @param userId 用户ID
* @param num 返回数量
* @param list 预处理数据
* @return 商品id集合
*/
public static List<Long> recommend(Long userId, Integer num,
List<RelateDTO> list) {
// 按物品分组
Map<Long, List<RelateDTO>> userMap = list.stream()
.collect(Collectors.groupingBy(RelateDTO::getUserId));
List<Long> userProductItems = userMap.get(userId).stream()
.map(RelateDTO::getProductId).toList();
Map<Long, List<RelateDTO>> itemMap = list.stream()
.collect(Collectors.groupingBy(RelateDTO::getProductId));
List<Long> similarProductIdList = new ArrayList<>();
Multimap<Double, Long> itemTotalDisMap = TreeMultimap.create();
for (Long itemId : userProductItems) {
// 获取其他物品与当前物品的关系值
Map<Double, Long> itemDisMap = CoreMath.computeNeighbor(itemId, itemMap, 1);
itemDisMap.forEach(itemTotalDisMap::put);
}
List<Double> values = new ArrayList<>(itemTotalDisMap.keySet());
values.sort(Collections.reverseOrder());
List<Double> scoresList = values.stream().limit(num).toList();
// 获取关系最近的用户
for (Double aDouble : scoresList) {
Collection<Long> longs = itemTotalDisMap.get(aDouble);
for (Long productId : longs) {
if (!userProductItems.contains(productId)) {
similarProductIdList.add(productId);
}
}
}
return similarProductIdList.stream().distinct().limit(num).toList();
}
}
在 newbee-mall-pro 中可以针对 为你推荐 栏目中推荐的商品做曝光率、点击率、下单数等作为监控指标来评估推荐效果.
用户协同和物品协同都是两种常用的推荐系统算法,它们分别利用用户之间和物品之间的相似度来给用户提供个性化的推荐。用户协同和物品协同的应用场景有以下几种:
商城系统使用用户协同还是物品协同,这是一个需要根据具体情况进行选择的问题。用户协同是指根据用户之间的相似度,为用户推荐他们可能感兴趣的物品。物品协同是指根据物品之间的相似度,为用户推荐与他们已经购买或浏览过的物品相似的物品。两种方法各有优缺点,需要综合考虑商城系统的目标、规模、数据量、稀疏度等因素。一般来说,如果商城系统的目标是增加用户的多样性和探索性,那么用户协同可能更合适,因为它可以为用户提供更广泛的选择。如果商城系统的目标是增加用户的满意度和忠诚度,那么物品协同可能更合适,因为它可以为用户提供更精准的推荐 。
在一般商城系统中,初期用户数量少可以使用用户协同,后期用户数远超商品数,使用物品协同会更好些,这两者也可以结合使用。推荐算法是不会一成不变的,它需要根据某些指标数据不断优化调整升值甚至重构使用另外的算法.
商城协同算法冷启动问题是指在商城系统中,当新用户或新商品加入时,由于缺乏足够的交互数据,导致协同过滤算法无法为其提供准确的推荐结果.
在 newbee-mall-pro 就是指新用户还未下单 。
这种问题会影响商城的用户体验和转化率,因此需要有效的解决方案。一种常见的方法是使用流行度算法.
利用基于流行度的算法非常简单粗暴,类似于各大新闻、微博热榜、商城等,根据PV、UV、点击率、搜索率、下单商品排行等数据来按某种热度排序来推荐给用户.
到这里,本文所分享 推荐算法在商城系统实践 就全部介绍完了,希望对大家实现推荐系统落地有所帮助,喜欢的朋友们可以点赞加关注😘.
公众号【waynblog】每周更新博主最新技术文章,欢迎大家关注 。
最后此篇关于推荐算法在商城系统实践的文章就讲到这里了,如果你想了解更多关于推荐算法在商城系统实践的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
滑动窗口限流 滑动窗口限流是一种常用的限流算法,通过维护一个固定大小的窗口,在单位时间内允许通过的请求次数不超过设定的阈值。具体来说,滑动窗口限流算法通常包括以下几个步骤: 初始化:设置窗口
表达式求值:一个只有+,-,*,/的表达式,没有括号 一种神奇的做法:使用数组存储数字和运算符,先把优先级别高的乘法和除法计算出来,再计算加法和减法 int GetVal(string s){
【算法】前缀和 题目 先来看一道题目:(前缀和模板题) 已知一个数组A[],现在想要求出其中一些数字的和。 输入格式: 先是整数N,M,表示一共有N个数字,有M组询问 接下来有N个数,表示A[1]..
1.前序遍历 根-左-右的顺序遍历,可以使用递归 void preOrder(Node *u){ if(u==NULL)return; printf("%d ",u->val);
先看题目 物品不能分隔,必须全部取走或者留下,因此称为01背包 (只有不取和取两种状态) 看第一个样例 我们需要把4个物品装入一个容量为10的背包 我们可以简化问题,从小到大入手分析 weightva
我最近在一次采访中遇到了这个问题: 给出以下矩阵: [[ R R R R R R], [ R B B B R R], [ B R R R B B], [ R B R R R R]] 找出是否有任
我正在尝试通过 C++ 算法从我的 outlook 帐户发送一封电子邮件,该帐户已经打开并记录,但真的不知道从哪里开始(对于 outlook-c++ 集成),谷歌也没有帮我这么多。任何提示将不胜感激。
我发现自己像这样编写了一个手工制作的 while 循环: std::list foo; // In my case, map, but list is simpler auto currentPoin
我有用于检测正方形的 opencv 代码。现在我想在检测正方形后,代码运行另一个命令。 代码如下: #include "cv.h" #include "cxcore.h" #include "high
我正在尝试模拟一个 matlab 函数“imfill”来填充二进制图像(1 和 0 的二维矩阵)。 我想在矩阵中指定一个起点,并像 imfill 的 4 连接版本那样进行洪水填充。 这是否已经存在于
我正在阅读 Robert Sedgewick 的《C++ 算法》。 Basic recurrences section it was mentioned as 这种循环出现在循环输入以消除一个项目的递
我正在思考如何在我的日历中生成代表任务的数据结构(仅供我个人使用)。我有来自 DBMS 的按日期排序的任务记录,如下所示: 买牛奶(18.1.2013) 任务日期 (2013-01-15) 任务标签(
输入一个未排序的整数数组A[1..n]只有 O(d) :(d int) 计算每个元素在单次迭代中出现在列表中的次数。 map 是balanced Binary Search Tree基于确保 O(nl
我遇到了一个问题,但我仍然不知道如何解决。我想出了如何用蛮力的方式来做到这一点,但是当有成千上万的元素时它就不起作用了。 Problem: Say you are given the followin
我有一个列表列表。 L1= [[...][...][.......].......]如果我在展平列表后获取所有元素并从中提取唯一值,那么我会得到一个列表 L2。我有另一个列表 L3,它是 L2 的某个
我们得到二维矩阵数组(假设长度为 i 和宽度为 j)和整数 k我们必须找到包含这个或更大总和的最小矩形的大小F.e k=7 4 1 1 1 1 1 4 4 Anwser是2,因为4+4=8 >= 7,
我实行 3 类倒制,每周换类。顺序为早类 (m)、晚类 (n) 和下午类 (a)。我固定的订单,即它永远不会改变,即使那个星期不工作也是如此。 我创建了一个函数来获取 ISO 周数。当我给它一个日期时
假设我们有一个输入,它是一个元素列表: {a, b, c, d, e, f} 还有不同的集合,可能包含这些元素的任意组合,也可能包含不在输入列表中的其他元素: A:{e,f} B:{d,f,a} C:
我有一个子集算法,可以找到给定集合的所有子集。原始集合的问题在于它是一个不断增长的集合,如果向其中添加元素,我需要再次重新计算它的子集。 有没有一种方法可以优化子集算法,该算法可以从最后一个计算点重新
我有一个包含 100 万个符号及其预期频率的表格。 我想通过为每个符号分配一个唯一(且前缀唯一)的可变长度位串来压缩这些符号的序列,然后将它们连接在一起以表示序列。 我想分配这些位串,以使编码序列的预
我是一名优秀的程序员,十分优秀!