24
4
I have a pandas table I read from database and it contains covariance matrix (the number is random so that it is not positive semi-def). I would like a fast way to construct a numpy matrix from the pandas table.
我有一个我从数据库中读取的熊猫表格，它包含协方差矩阵(数字是随机的，所以它不是正半定的)。我想用一种快速的方法从熊猫的桌子上构建一个数字矩阵。
Pandas Table I have
我有一张熊猫桌子
| index1 | index2 | var |
|---|---|---|
| apple | apple | 1 |
| apple | orange | 1 |
| orange | orange | 0.5 |
| lemon | lemon | 1.2 |
| orange | lemon | -0.5 |
| apple | lemon | -0.8 |
Expected result[[1.2, -0.5, -0.8], [-0.5, 0.5, 1.0], [-0.8, 1.0, 1.0]]
预期结果[[1.2，-0.5，-0.8]，[-0.5，0.5，1.0]，[-0.8，1.0，1.0]]
Below is the sample code I tried, but it's not very fast.
下面是我尝试过的示例代码，但速度不是很快。
个人中心
文章发布
退出import numpy as np
import pandas as pd
pd_cov = pd.DataFrame([['apple', 'apple', 1], ['apple', 'orange', 1], ['orange', 'orange', 0.5], ['lemon', 'lemon', 1.2], ['orange', 'lemon', -0.5], ['apple', 'lemon', -0.8]], columns = ['index1', 'index2', 'var'])
def cov_obt(x,y):
try:
return(float(pd_cov_ind.loc[x, y]))
except:
return(float(pd_cov_ind.loc[y, x]))
ind = list(set(pd_cov['index1']))
pd_cov_ind = pd_cov.set_index(['index1', 'index2'])
np.array([[cov_obt(x,y) for y in ind] for x in ind])
Here's one approach:
这里有一种方法：
import pandas as pd
import numpy as np
m = pd_cov.pivot_table(index='index1', columns='index2',
sort=False, fill_value=0).to_numpy()
m = m + m.T - np.tril(m)
m
array([[ 1. , 1. , -0.8],
[ 1. , 0.5, -0.5],
[-0.8, -0.5, 1.2]])
Explanation
解释
df.pivot_table to pivot your data, with sort parameter set to False (maintaining order) and fill_value set to 0 (needed for step 2). Chain to_numpy and assign to variable m.m) with the upper triangle filled as expected, and the lower triangle still filled with zeros (but for the diagonal). We can "copy" the values from the upper triangle by adding m and m.T (its transposed version). Since the diagonal will be doubled this way, as a final step, we need to substract the diagonal zeroed, which we can retrieve by applying np.tril.24
4
0
我有一台 MySQL 服务器和一台 PostgreSQL 服务器。 需要从多个表中复制或重新插入一组数据 MySQL 流式传输/同步到 PostgreSQL 表。 这种复制可以基于时间(Sync)或事
如果两个表的 id 彼此相等，我尝试从一个表中获取数据。这是我使用的代码: SELECT id_to , email_to , name_to , status_to
我有一个 Excel 工作表。顶行对应于列名称，而连续的行每行代表一个条目。 如何将此 Excel 工作表转换为 SQL 表？ 我使用的是 SQL Server 2005。 最佳答案 这取决于您使用哪
我想合并两个 Django 模型并创建一个模型。让我们假设我有第一个表表 A，其中包含一些列和数据。 Table A -------------- col1 col2 col3 col
我有两个表:table1，table2，如下所示 table1: id name 1 tamil 2 english 3 maths 4 science table2: p
关闭。此题需要details or clarity 。目前不接受答案。 想要改进这个问题吗？通过 editing this post 添加详细信息并澄清问题. 已关闭 1 年前。 Improve th
下面两个语句有什么区别？ newTable = orginalTable 或 newTable.data(originalTable) 我怀疑 .data() 方法具有性能优势，因为它在标准 AX 中
我有一个表，我没有在其中显式定义主键，它并不是真正需要的功能......但是一位同事建议我添加一个列作为唯一主键以随着数据库的增长提高性能...... 谁能解释一下这是如何提高性能的？ 没有使用索引(
如何将表“产品”中的产品记录与其不同表“图像”中的图像相关联？ 我正在对产品 ID 使用自动增量。 我觉得不可能进行关联，因为产品 ID 是自动递增的，因此在插入期间不可用! 如何插入新产品，获取产品
我有一个 sql 表，其中包含关键字和出现次数，如下所示(尽管出现次数并不重要): ____________ dog | 3 | ____________ rat | 7 | ____
是否可以使用目标表中的LAST_INSERT_ID更新源表？ INSERT INTO `target` SELECT `a`, `b` FROM `source` 目标表有一个自动增量键id，我想将其
我正在重建一个搜索查询，因为它在“我看到的”中变得多余，我想知道什么 (albums_artists, artists) ( ) does in join? is it for boosting pe
以下是我使用 mysqldump 备份数据库的开关: /usr/bin/mysqldump -u **** --password=**** --single-transaction --databas
我试图获取 MySQL 表中的所有行并将它们放入 HTML 表中: Exam ID Status Assigned Examiner
如何查询名为 photos 的表中的所有记录，并知道当前用户使用单个查询将哪些结果照片添加为书签？ 这是我的表格: -- -- Table structure for table `photos` -
我的网站都在 InnoDB 表上运行，目前为止运行良好。现在我想知道在我的网站上实时发生了什么，所以我将每个页面浏览量(页面、引荐来源网址、IP、主机名等)存储在 InnoDB 表中。每秒大约有 10
我在想我会为 mysql 准备两个表。一个用于存储登录信息，另一个用于存储送货地址。这是传统方式还是所有内容都存储在一张表中？ 对于两个表...有没有办法自动将表 A 的列复制到表 B，以便我可以引用
我不是程序员，我从这个表格中阅读了很多关于如何解决我的问题的内容，但我的搜索效果不好 我有两张 table 表 1:成员 id*| name | surname -------------------
我知道如何在 ASP.NET 中显示真实表，例如 public ActionResult Index() { var s = db.StaffInfoDBSet.ToList(); r
我正在尝试运行以下查询: "insert into visits set source = 'http://google.com' and country = 'en' and ref = '1234
我是一名优秀的程序员,十分优秀！