algorithm - 基于多个变量对用户进行聚类

Question

我有一个网站，我收集了很多关于用户行为的日志。他们什么时候登录，他们看什么产品，他们多久看一次等等。我想看看我是否可以基于此进行聚类分析，但我不确定如何合并多个变量。

具体来说，我的问题是当不同的变量对不同的群体更重要时，如何衡量它们的重要性并将不同的群体聚类。例如，我知道那些查看相同产品的人可以分组，但也有一定比例的用户因为工作原因登录购买产品，他们倾向于每周或每月在同一时间登录，所以对他们来说我认为购买时间的一致性很重要。

我不擅长统计，但我决心学习 - 我在哪里可以学习如何解决这个问题？我一直在研究 k-mean 和神经网络，但还不清楚如何将其实现到这个问题上。

Answer 1

好吧，这个答案比计划的要长，但这对我自己来说是一个很好的复习:

这里我假设了很多事情，例如那个

• 网站访问的持续时间很短(几分钟)。
• 每个用户只关心一个任务
• 您将每个 session 视为黑盒交易。

您应该从数据集中创建自己的新属性。如有必要，创建一堆属性，例如“logs_in_on_workdays”、“logs_in_on_weekend”、“logs_in_morning”、“logs_in_afternoon”、“session_duration_minutes”、“logs_out”等 - 这是基于日期值。

关于您的项目不能说太多。 “looks_at_dairyprod”、“looks_at_softdrinks”……怎么样？

也许您还可以使用 user_agent 字段“browser_type”、“os_name”、“is_mobile”等。也许“is_authenticated”、remote_host_type (“is_bot”) 等- 无论您的日志文件允许什么。

也许您可以将经过身份验证的用户与其他数据集结合起来，以创建更多属性，例如“is_male”、“is_employee”等。

您项目中的数据整理部分肯定会很有趣。最终结果将是一个包含数值的大表格，大多数为 1 或 0 值。

如果您包括其他数字属性，例如“年龄”、“持续时间”，这些数据应规范化为 0 到 1 之间的值。

然后您可以使用 kmeans 算法运行聚类分析，参数化为 k = 10, 11, 12... 20。

您对 k 合理值的最终选择取决于您的要求(您想要找到多少个集群？期望值是多少？你有异常值吗？例如，对于 k =5 ，找到 1 个有 36000 个用户的集群和 4 个每个有 100 个用户的集群有意义吗？那么你应该增加集群的数量并希望大的是分割)

您的集群分配必须连接回原始数据集表 myview。然后你做交叉制表。在 R 中，您可以通过运行如下命令来执行此操作:

(clust2 <- data.frame(sapply(colnames(myview),function(x){
tapply(myview[,x], km20$clusternum, mean)
})))

生成的表格(下例，k=20)将为您提供有关数据结构的提示，但不是确定的答案。

但是，处理 kmeans 聚类的结果，您可以回答如下问题

哪个集群最符合“经过身份验证的用户在工作日上午进行的定期站点访问”的描述？

## ClusNo Duration Morning Afternoon Periodic Weekd Authenticated   Age
## 1     840.0  0.0000    0.0000  1.0000  0.9510 0.0000 48.49
## 2    9335.3  0.3515    0.4485  0.1576  0.6333 0.6333 00.00
## 3     744.7  0.0000    0.8410  0.0000  0.0000 1.0000 28.01
## 4     621.4  1.0000    0.0000  0.0000  0.9975 1.0000 50.14
## 5     617.1  0.0000    0.9871  0.0000  1.0000 1.0000 40.34
## 6     844.8  0.0000    0.9641  0.0000  0.0000 0.9648 49.72
## 7     689.1  0.0000    0.0000  1.0000  0.9941 1.0000 46.77
## 8     729.4  1.0000    0.0000  0.0000  0.9935 0.0000 48.79
## 9     680.7  0.0000    0.9817  0.0000  1.0000 1.0000 54.81
## 10    734.6  0.0000    0.0000  1.0000  0.0000 0.7328 30.73
## 11    586.0  1.0000    0.0000  0.0000  1.0000 1.0000 30.18
## 12    772.1  0.0000    0.0000  1.0000  1.0000 0.0000 28.20
## 13    673.8  0.0000    0.0000  1.0000  1.0000 1.0000 28.37
## 14    646.4  0.0000    0.9226  0.0000  1.0000 1.0000 27.16
## 15    876.1  0.0000    0.9331  0.0000  0.0000 0.0000 32.37
## 16    687.5  1.0000    0.0000  0.0000  1.0000 0.0000 28.93
## 17    767.7  0.0000    0.9900  0.0000  1.0000 0.0000 49.33
## 18    748.6  1.0000    0.0000  0.0000  0.0000 0.6540 34.10
## 19    738.6  0.0000    0.9503  0.0000  1.0000 0.0000 29.03
## 20  45891.4  0.2020    0.1212  0.5758  0.8586 0.7273 00.00

哪些集群可以描述为“发生在工作日晚上的访问时间比平均访问时间短(< n 分钟)”？

还有很多很多。您必须使用商业知识来选择有趣的属性并提出正确的问题。

也许您会发现被忽视的集群，或有关集群感兴趣的响应变量(此处为年龄)的提示。这就是基本聚类分析为您提供的。