gpt4 book ai didi

Python——管理大数据

转载 作者:行者123 更新时间:2023-12-01 04:06:26 25 4
gpt4 key购买 nike

我正在使用 Python (3.4) 和 PyQt 开发一个应用程序。该程序的目标是管理和分析大量数据 - 最多约 50 个二进制文件,总大小可能高达 2-3 GB。当我尝试将几个文件加载到程序中时,它在加载过程中停止响应,然后需要大约 1.5GB RAM 才能继续运行。我的问题很笼统 - python/PyQt 中处理此类数据集的可能方法是什么?

最佳答案

您可以考虑 HDF5 格式,它可以使用 h5pypytables 或其他 python 包进行访问。根据数据格式,HDF5 可以让您以有效的方式访问 HD 上的数据,这实际上意味着您可以节省内存。缺点是它需要程序员付出一些努力。

关于Python——管理大数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35514886/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com