- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我有一个表单集列表
animals[0] = {'cat', 'cow', 'dog'}
animals[1] = {'cat', 'cow', 'pig'}
animals[2] = {'cat', 'dog', 'fish'}
animals[3] = {'tiger', 'fish', 'pig'}
animals[4] = {'dog', 'fish', 'pig'}
如何将至少包含 2 个相似项的集合分组?为简单起见,我将使用一个 dict,其键是重叠集合的第一个元素,并且不关心属于该键的某些项目是否少于 2 个相似项目。例如,
g['cat'] = [0,1,2]
g['fish'] = [2,3,4]
因为列表 0 和 1 具有重叠项 cat 和 cow,而列表 0 和 2 具有重叠项 cat 和 dog。然而,列表 1 和 2 只有重叠项 cat 但仍包含在字典中。一种简单的蛮力方法是遍历整个列表并检查每个列表与其他所有列表。
for i,x in enumerate(animals):
for j,y in enumerate(animals):
intersection = x & y
if(len(intersection)>=2):
dict[list(intersection)[0]].append(j)
但是如果我有一个非常大的列表,这会非常耗时,所以我想学习一种更好的方法来做到这一点。如果谁有什么功能可以推荐。
最佳答案
如果您谈论的是大型数据集,您应该考虑使用 sparse matrix .特别是,我将要描述的技术可以很好地缩放并且可以与 MapReduce 一起使用。 - 类似框架。
因此,在继续之前,我会将您提供的示例转换为稀疏矩阵。以下方法绝不是最快的方法,通常它取决于您的数据是如何生成的,例如,如果您已经有一套完整的数据集,或者您正在处理在流上工作的在线算法。
如果您正在处理一个未知完整集,这是处理在线算法时的常见问题,您可以尝试创建一个哈希函数系列来将您的 key 映射到N 并逐渐和哈希函数,直到您有足够低的误报率(键映射到另一个键的存储桶)。
我们现在继续assuming您有一个名为 all_the_animals
的有序完整集,它允许您将无序集映射到 N。
animals = [{'cat', 'cow', 'dog'},
{'cat', 'cow', 'pig'},
{'cat', 'dog', 'fish'},
{'tiger', 'fish', 'pig'},
{'dog', 'fish', 'pig'}]
all_the_animals = ['cat', 'cow', 'dog', 'pig', 'fish', 'tiger']
实际转化:
import scipy.sparse as sparse
def binarise(sets, full_set):
"""Return sparse binary matrix of given sets."""
return sparse.csr_matrix([[x in s for x in full_set] for s in sets])
因此,要获得稀疏矩阵,您需要运行:
sparse_matrix = binarise(animals, all_the_animals)
获得稀疏矩阵后,您可以继续使用 cosine similarity来自 sklearn
,它被定义为:
from sklearn.metrics.pairwise import cosine_similarity
similarities = cosine_similarity(sparse_matrix)
使用seaborn.heatmap
获得的相似度矩阵看起来像:
import matplotlib.pyplot as plt
import seaborn
seaborn.heatmap(s, annot=True, cmap="YlGnBu")
plt.show()
现在您可以选择相似度阈值。例如,在您的问题中,您要求 2/3 的元素是共同的:
threshold = 2/3
使用 numpy.where
你可以执行:
import numpy as np
similar = np.where(similarities >= threshold)
获得:
(array([0, 0, 0, 1, 1, 2, 2, 2, 3, 3, 4, 4, 4]),
array([0, 1, 2, 0, 1, 0, 2, 4, 3, 4, 2, 3, 4]))
现在我们有了一组 similar_animals 我们可以运行:
similar_sets = [(i, similar[1][similar[0]==i]) for i in np.unique(similar[0]))]
结果如下:
[(0, array([0, 1, 2])),
(1, array([0, 1])),
(2, array([0, 2, 4])),
(3, array([3, 4])),
(4, array([2, 3, 4]))]
要可视化结果,您可以使用有序集来获取动物名称:
similar_animal_sets = [(all_the_animals[i], similar_set) for i, similar_set in similar_sets]
哪些输出:
[('cat', array([0, 1, 2])),
('cow', array([0, 1])),
('dog', array([0, 2, 4])),
('pig', array([3, 4])),
('fish', array([2, 3, 4]))]
关于python - 根据相似项目的数量有效地对集合进行分组,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51345579/
您好,我正在处理 BIRT 报告。我有一个查询,我必须对父级的重复数据进行分组,但子级也不能分组! 在我的查询中: item 是父项,item_ledger_entry 是子项。我有来自 item.N
我正在使用 GA API。 这是针对 MCF 目标报告(底部)的标准目标完成指标表(顶部) 看一下这个: 总数加起来 (12,238),但看看按 channel 分组的分割有多么不同!我以为这些会很接
我正在开发一个流量计数器,我想获得 IP 和重复计数,但是如何? 就像是 :select ip, count(ip) from Redirect 返回 : null total ip count 重定
我尝试编写一个正则表达式来匹配条件表达式,例如: a!=2 1+2=2+a 我尝试提取运算符。我当前的正则表达式是“.+([!=<>]+).+” 但问题是匹配器总是尝试匹配组中可能的最短字符串
在 MS Transact SQL 中,假设我有一个这样的表(订单): Order Date Order Total Customer # 09/30/2008 8
我想按 m.ID 分组,并对每个 m.id 求和 (pm.amount_construction* prod.anzahl) 实际上我有以下结果: Meterial_id | amount_const
我想根据多列中的值对值进行分组。这是一个例子: 我想得到输出: {{-30,-50,20},{-20,30,60},{-30,NULL or other value, 20}} 我设法到达: SELE
我正在尝试找出运行此查询的最佳方式。我基本上需要返回在我们的系统中只下了一个订单的客户的“登录”字段列表(登录字段基本上是客户 ID/ key )。 我们系统的一些背景...... 客户在同一日期下的
给定以下mysql结果集: id code name importance '1234', 'ID-CS-B', 'Chocolate Sauce'
大家好,我的数据框中有以下列: LC_REF 1 DT 16 2C 2 DT 16 2C 3 DT 16 2C 1 DT 16 3C 6 DT 16 3C 3
我有这样的 mongoDB 集合 { "_id" : "EkKTRrpH4FY9AuRLj", "stage" : 10, }, { "_id" : "EkKTRrpH4FY9
假设我有一组数据对,其中 index 0 是值,index 1 是类型: input = [ ('11013331', 'KAT'), ('9085267',
java中用stream进行去重,排序,分组 一、distinct 1. 八大基本数据类型 List collect = ListUtil.of(1, 2, 3, 1, 2).stream().fil
基本上,我从 TABLE_A 中的这个开始 France - 100 France - 200 France - 300 Mexico - 50 Mexico - 50 Mexico - 56 Pol
我希望这个正则表达式 ([A-Z]+)$ 将选择此示例中的最后一次出现: AB.012.00.022ABC-1 AB.013.00.022AB-1 AB.014.00.022ABAB-1 但我没有匹配
我创建了一个数据透视表,但数据没有组合在一起。 任何人都可以帮助我获得所需的格式吗? 我为获取数据透视表而编写的查询: DECLARE @cols AS NVARCHAR(MAX), -- f
我想按时间段(月,周,日,小时,...)选择计数和分组。例如,我想选择行数并将它们按 24 小时分组。 我的表创建如下。日期是时间戳。 CREATE TABLE MSG ( MSG_ID dec
在 SQL Server 2005 中,我有一个包含如下数据的表: WTN------------Date 555-111-1212 2009-01-01 555-111-1212 2009-
题 假设我有 k 个标量列,如果它们沿着每列彼此在一定距离内,我想对它们进行分组。 假设简单 k 是 2 并且它们是我唯一的列。 pd.DataFrame(list(zip(sorted(choice
问题 在以下数据框中 df : import random import pandas as pd random.seed(999) sz = 50 qty = {'one': 1, 'two': 2
我是一名优秀的程序员,十分优秀!