mysql - 哪种语言用于非常大的数据集和涉及的大量计算

Question

问题的大致思路是数据在表格中按以下三列排列

"Entity" "parent entity" "value"
A001        B001        .10
A001        B002        .15
A001        B003        .2
A001        B004        .3
A002        B002        .34
A002        B003        .13
..
..
..
A002        B111        .56

存在实体图，值可以看作是从父实体到实体的有向边的权重。我必须计算有多少个特定实体的父实体的不同子集大于 .5(比方说)。进一步计算一些东西(后面的部分很容易，计算上并不复杂)

关键是数据很大(Excel 文件说数据丢失:( )。我可以使用哪种语言或工具？有些人建议我使用 SAS 或 STATA。

提前致谢

Answer 1

您可以在 SQL 中执行此操作。桌面的两个选项(无需安装某种 SQL 服务器)是 MS Access 或 OpenOffice 数据库。两者都可以将 CSV 文件读入数据库。

在那里，您可以运行 SQL 查询。语法有点奇怪，但这应该可以帮助您入门:

select ParentEntity, sum(Value)
from Data
where sum(Value) > .5
group by ParentEntity

Data 是加载数据的表的名称，Entity 和 Value 是 中列的名称>数据表。