- iOS/Objective-C 元类和类别
- objective-c - -1001 错误,当 NSURLSession 通过 httpproxy 和/etc/hosts
- java - 使用网络类获取 url 地址
- ios - 推送通知中不播放声音
我正在寻找一种方法来加速这个算法。
我的情况如下。我有一个包含 25,000 个具有 6 个习惯的用户的数据集。我的目标是为 25,000 名用户开发一个层次聚类。我在具有 16 个内核、128GB RAM 的服务器上运行它。光是10000个用户在我的服务器上不停的使用6核计算这个距离矩阵就花了我3周的时间。你可以想象这对我的研究来说太长了。
对于 6 种习惯中的每一种,我都创建了一个概率质量分布 (PMF)。每个习惯的 PMF 的大小(列)可能不同。有些习惯有 10 列,大约 256 列,所有这些都取决于最不习惯行为的用户。
我的算法的第一步是开发一个距离矩阵。我使用 Hellinger 距离来计算距离,这与一些使用例如cathersian/曼哈顿。我确实需要 Hellinger 距离,请参阅 https://en.wikipedia.org/wiki/Hellinger_distance
我目前尝试的是通过应用多核进程来加速算法,每个进程在一个单独的核心上有 6 个习惯。可能对加速有好处的两件事
(1) C 实现 - 但我不知道该怎么做(我不是 C 程序员)如果这有帮助,你能帮我实现这个 C 实现吗?
(2) 通过单独加入表格并让所有行然后进行逐行计算来制作笛卡尔积。重点是 R 在默认情况下会给出错误,例如数据表。对此有什么建议吗?
还有其他想法吗?
最好的问候 Jurjen
# example for 1 habit with 100 users and a PMF of 5 columns
Habit1<-data.frame(col1=abs(rnorm(100)),
col2=abs(c(rnorm(20),runif(50),rep(0.4,20),sample(seq(0.01,0.99,by=0.01),10))),
col3=abs(c(rnorm(30),runif(30),rep(0.4,10),sample(seq(0.01,0.99,by=0.01),30))),
col4=abs(c(rnorm(10),runif(10),rep(0.4,20),sample(seq(0.01,0.99,by=0.01),60))),
col5=abs(c(rnorm(50),runif(10),rep(0.4,10),sample(seq(0.01,0.99,by=0.01),30))))
# give all users a username same as rowname
rownames(Habit1)<- c(1:100)
# actual calculation
Result<-calculatedistances(Habit1)
HellingerDistance <-function(x){
#takes two equal sized vectors and calculates the hellinger distance between the vectors
# hellinger distance function
return(sqrt(sum(((sqrt(x[1,]) - sqrt(x[2,]))^2)))/sqrt(2))
}
calculatedistances <- function(x){
# takes a dataframe of user IID in the first column and a set of N values per user thereafter
# first set all NA to 0
x[is.na(x)] <- 0
#create matrix of 2 subsets based on rownumber
# 1 first the diagronal with
D<-cbind(matrix(rep(1:nrow(x),each=2),nrow=2),combn(1:nrow(x), 2))
# create a dataframe with hellinger distances
B <<-data.frame(first=rownames(x)[D[1,]],
second=rownames(x)[D[2,]],
distance=apply(D, 2, function(y) HellingerDistance(x[ y,]))
)
# reshape dataframe into a matrix with users on x and y axis
B<<-reshape(B, direction="wide", idvar="second", timevar="first")
# convert wide table to distance table object
d <<- as.dist(B[,-1], diag = FALSE)
attr(d, "Labels") <- B[, 1]
return(d)
}
最佳答案
我知道这不是一个完整的答案,但这个建议对于评论来说太长了。
下面是我将如何使用 data.table
来加速这个过程。就目前而言,这段代码仍然没有达到您的要求,这可能是因为我不完全确定您想要什么,但希望这能让您清楚地了解如何从这里开始。
另外,您可能想看一下 HellingerDist{distrEx}
函数来计算 Hellinger 距离。
library(data.table)
# convert Habit1 into a data.table
setDT(Habit1)
# assign ids instead of working with rownames
Habit1[, id := 1:100]
# replace NAs with 0
for (j in seq_len(ncol(Habit1)))
set(Habit1, which(is.na(Habit1[[j]])),j,0)
# convert all values to numeric
for (k in seq_along(Habit1)) set(Habit1, j = k, value = as.numeric(Habit1[[k]]))
# get all possible combinations of id pairs in long format
D <- cbind(matrix(rep(1:nrow(Habit1),each=2),nrow=2),combn(1:nrow(Habit1), 2))
D <- as.data.table(D)
D <- transpose(D)
# add to this dataset the probability mass distribution (PMF) of each id V1 and V2
# this solution dynamically adapts to number of columns in each Habit dataset
colnumber <- ncol(Habit1) - 1
cols <- paste0('i.col',1:colnumber)
D[Habit1, c(paste0("id1_col",1:colnumber)) := mget(cols ), on=.(V1 = id)]
D[Habit1, c(paste0("id2_col",1:colnumber)) := mget(cols ), on=.(V2 = id)]
# [STATIC] calculate hellinger distance
D[, H := sqrt(sum(((sqrt(c(id1_col1, id1_col2, id1_col3, id1_col4, id1_col5)) - sqrt(c(id2_col1, id2_col2, id2_col3, id2_col4, id2_col5)))^2)))/sqrt(2) , by = .(V1, V2)]
现在,如果你想让每个 habit
数据集中的列数变得灵活:
# get names of columns
part1 <- names(D)[names(D) %like% "id1"]
part2 <- names(D)[names(D) %like% "id2"]
# calculate distance
D[, H2 := sqrt(sum(((sqrt( .SD[, ..part1] ) - sqrt( .SD[, ..part2] ))^2)))/sqrt(2) , by = .(V1,V2) ]
现在,为了更快的距离计算
# change 1st colnames to avoid conflict
names(D)[1:2] <- c('x', 'y')
# [dynamic] calculate hellinger distance
D[melt(D, measure = patterns("^id1", "^id2"), value.name = c("v", "f"))[
, sqrt(sum(((sqrt( v ) - sqrt( f ))^2)))/sqrt(2), by=.(x,y)], H3 := V1, on = .(x,y)]
# same results
#> identical(D$H, D$H2, D$H3)
#> [1] TRUE
关于r - 加速 R 算法计算 Hellinger 距离的距离矩阵,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44523558/
SQL 和一般开发的新手,我有一个表(COUNTRIES),其中包含字段(INDEX、NAME、POPULATION、AREA) 通常我添加一个客户端(Delphi)计算字段(DENSITY)和 On
我想使用 calc(100%-100px),但在我的 demo 中不起作用由于高度只接受像素,因此如何将此百分比值转换为像素。 最佳答案 以下将为您提供高度: $(window).height();
我正在尝试在 MySQL 中添加列并动态填充其他列。 例如我有一张表“数字”并具有第 1 列、第 2 列、第 3 列,这些总数应填充在第 4 列中 最佳答案 除非我误解了你的问题,否则你不只是在寻找:
我想返回简单计算的结果,但我不确定如何执行此操作。我的表格如下: SELECT COUNT(fb.engineer_id) AS `total_feedback`, SUM(fb.ra
我一直在尝试做这个程序,但我被卡住了,我仍然是一个初学者,任何帮助将不胜感激。我需要程序来做 打印一个 10 X 10 的表格,其中表格中的每个条目都是行号和列号的总和 包含一个累加器,用于计算所有表
这个计算背后一定有一些逻辑。但我无法得到它。普通数学不会导致这种行为。谁能帮我解释一下原因 printf ("float %f\n", 2/7 * 100.0); 结果打印 1.000000 为什么会
我想计算从 0 到 (n)^{1/2} - 1 的数字的 AND每个数字从 0 到 (n)^{1/2} - 1 .我想在 O(n) 中执行此操作时间,不能使用 XOR、OR、AND 运算。 具体来说,
如何在 Excel 中将公式放入自定义数字格式?例如(出于说明目的随机示例), 假设我有以下数据: 输入 输出 在不编辑单元格中的实际数据的情况下,我想显示单元格中的值除以 2,并保留两位小数: 有没
每次我在 Flutter 应用程序中调用计算()时,我都会看到内存泄漏,据我所知,这基本上只是一种生成隔离的便捷方法。我的应用程序内存占用增加并且在 GC 之后永远不会减少。 我已将我的代码简化为仅调
我有数字特征观察 V1通过 V12用于目标变量 Wavelength .我想计算 Vx 之间的 RMSE列。数据格式如下。 每个变量“Vx”以 5 分钟的间隔进行测量。我想计算所有 Vx 变量的观测值
我正在寻找一种使用 C 语言计算文件中未知字符数的简单方法。谢谢你的帮助 最佳答案 POSIX 方式(可能是您想要的方式): off_t get_file_length( FILE *file ) {
我正在使用 Postgres,并且我正试图围绕如何在连续日期跨度中得出第一个开始日期的问题进行思考。例如 :- ID | Start Date | End Date =================
我有一个订单表格,我在其中使用 jQuery 计算插件来汇总总数。 此求和工作正常,但生成的“总和”存在问题。总之,我希望用逗号替换任何点。 代码的基础是; function ($this) {
我在使用 double 变量计算简单算术方程时遇到问题。 我有一个具有 double 属性 Value 的组件,我将此属性设置为 100。 然后我做一个简单的减法来检查这个值是否真的是 100: va
我在这里看到了一些关于 CRC 32 计算的其他问题。但没有一个让我满意,因此是这样。 openssl 库是否有任何用于计算 CRC32 的 api 支持?我已经在为 SHA1 使用 openssl,
当我在PHP日期计算中遇到问题时,我感到惊讶。 $add = '- 30 days'; echo date('Y-m-01', strtotime($add)); // result is 2017-
我正在使用 javascript 进行练习,我编写了这个脚本来计算 2 个变量的总和,然后在第三个方程中使用这个总和!关于如何完成这项工作的任何想法都将非常有用! First Number:
我有一个来自EAC的提示单和一个包含完整专辑的FLAC文件。 我正在尝试制作一些python脚本来播放文件,因为我需要能够设置在flac文件中开始的位置。 如何从CueSheet格式MM:SS:FF转
这个问题已经有答案了: Adding two numbers concatenates them instead of calculating the sum (24 个回答) 已关闭去年。 我有一个
4000 我需要上面字段 name="quantity" 和 id="price" 中的值,并使用 javascript 函数进行计算,并将其显示在字段 id= 中仅当我单击计算按钮时才显示“总
我是一名优秀的程序员,十分优秀!