Python:处理大量数据。 Scipy 还是 Rpy？如何？

Question

在我的 python 环境中，已经安装了 Rpy 和 Scipy 包。

我要解决的问题是这样的:

1) 大量财务数据存储在一个文本文件中。无法加载到 Excel 中

2) 我需要对某些字段求和并得到总数。

3) 我需要根据总数显示前 10 行。

哪个包(Scipy 或 Rpy)最适合这项任务？

如果是这样，您能否提供一些可以帮助我实现解决方案的指示(例如文档或在线示例)？

速度是一个问题。理想情况下，即使文件大到无法放入内存，scipy 和 Rpy 也可以处理大文件

Answer 1

Rpy 或 Scipy 都不是必需的，尽管 numpy 可能会使它更容易一些。这个问题似乎非常适合逐行解析器。只需打开文件，将一行读入一个字符串，将该行扫描到一个数组中(请参阅 numpy.fromstring)，更新您的运行总和并移至下一行。