python:我可以在不(明确)使用整数索引的情况下获得稀疏矩阵表示吗？

Question

我有一个数据集，本质上是一个稀疏二进制矩阵，表示两个集合的元素之间的关系。例如，让第一组是人(用他们的名字表示)，例如像这样的东西:

people = set(['john','jane','mike','joe'])

第二组是一堆二进制属性，例如

attrs = set(['likes_coffee','has_curly_hair','has_dark_hair','drives_car','man_u_fan'])

数据集由制表符分隔的数据文件表示，该文件为每个人分配一些属性，例如

john    likes_coffee
john    drives_car
john    has_curly_hair
jane    has_curly_hair
jane    man_u_fan
...

attrs 有大约 30,000 个元素，people 可以有 6,000,000 大，但数据稀疏，即每个人最多有30-40个属性

我正在寻找Python中的数据结构/类，它可以让我:

• 快速创建代表相应数据文件中数据集的矩阵对象
• 能够快速提取矩阵的各个元素及其行和列的 block 。例如，我想回答这样的问题
  • “给我一份包含 {'has_curly_hair','likes_coffee','man_u_fan'} 的人员列表”
  • “给我一个 {'mike','joe'} 的属性并集”

我当前的实现使用一对数组来表示这两个集合和一个 scipy 稀疏矩阵。所以如果

people = ['john','jane','mike','joe']
attrs = ['likes_coffee','has_curly_hair','has_dark_hair','drives_car','man_u_fan']

然后我将创建一个大小为 4 X 5 的稀疏矩阵 data，上面显示的示例数据将对应于元素

data[0,0]
data[0,3]
data[0,1]
data[1,1]
data[1,4]
...

我还维护两个逆索引，这样我就不必调用 people.index('mike') 或 attrs.index('has_curly_hair')经常

这工作正常，但我必须明确维护索引。例如，当我有两个具有不同人员和/或属性集的数据集，并且我需要匹配两个稀疏矩阵中与同一人员/属性对应的行/列时，这很麻烦。

那么有没有一种替代方法可以让我避免使用整数索引，而是使用两个集合的实际元素来提取行/列，即类似于

data['john',:]  # give me all attributes of 'john'
data[:,['has_curly_hair','drives_car']] # give me all people who 'has_curly_hair' or 'drives_car'

？

Answer 1

假设没有库完全满足您的要求，您可以创建自己的类 SparseMatrix 并重载运算符 []。这是一种方法(构造函数可能与您想要的不同):

class SparseMatrix():
    def __init__(self, x_label, y_label):
        self.data = {}
        for x,y in zip(x_label,y_label):
            print x,y
            self.data[x] = {}
            for attr in y:
                self.data[x][attr] = 1
        return

    def __getitem__(self, index):
        x,y = index
        if type(x) is str:
            if type(y) is str:
                return 1 if y in self.data[x] else 0
            if type(y) is slice:
                return self.data[x].keys()
        if type(x) is slice:
            if type(y) is str:
                res = []
                for key in self.data.keys():
                    if y in self.data[key]:
                        res.append(key)
                return res
            if type(y) is list:
                res = []
                for attr in y:
                    res += self.__getitem__((x,attr))
                return res

在 REPL 中，我得到:

> data = SparseMatrix(['john','jane','mike','joe'],[['likes_coffee','has_curly_hair'],['has_dark_hair'],['drives_car'],['man_u_fan']])

> data['john',:]
['has_curly_hair', 'likes_coffee']

> data[:,['has_curly_hair','drives_car']]
['john', 'mike']