python - 在 python 中处理大型数据集的最佳方式

Question

我正在处理一个大型金融数据集(目前为 15 GB，但稍后将达到 200 GB)。使用它的最佳方式是什么。特别是，我想做一些统计测试并使用毫秒数据生成一些图表。到目前为止，我已经使用 sqlite3 来简化操作，但它似乎无法处理文件的大小。我正在使用 PyCharm(不确定是否有帮助)

Answer 1

如果您想管理大量数据，sqlite 不是一个好的选择(实际上我不会将 sqlite 用于原型(prototype)设计或运行测试以外的其他事情)。

您可以尝试使用amazon RDS来存储数据库http://aws.amazon.com/es/rds/并在亚马逊提供的数据库引擎之一中进行选择。

至于使用 Python，我认为你应该让数据库引擎处理请求，而只使用 python 来生成图形。