- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
我在 python 中使用 pandas
库时遇到内存泄漏问题。我在我的类中创建了 pandas.dataframe
对象,并且我有方法可以根据我的条件更改数据帧的大小。更改数据框大小并创建新的 pandas 对象后,我在类里面重写了原始的 pandas.dataframe。但是即使在显着减少初始表之后,内存使用率也非常高。一些简短示例的代码(我没有编写进程管理器,请参阅任务管理器):
import time, string, pandas, numpy, gc
class temp_class ():
def __init__(self, nrow = 1000000, ncol = 4, timetest = 5):
self.nrow = nrow
self.ncol = ncol
self.timetest = timetest
def createDataFrame(self):
print('Check memory before dataframe creating')
time.sleep(self.timetest)
self.df = pandas.DataFrame(numpy.random.randn(self.nrow, self.ncol),
index = numpy.random.randn(self.nrow), columns = list(string.letters[0:self.ncol]))
print('Check memory after dataFrame creating')
time.sleep(self.timetest)
def changeSize(self, from_ = 0, to_ = 100):
df_new = self.df[from_:to_].copy()
print('Check memory after changing size')
time.sleep(self.timetest)
print('Check memory after deleting initial pandas object')
del self.df
time.sleep(self.timetest)
print('Check memory after deleting copy of reduced pandas object')
del df_new
gc.collect()
time.sleep(self.timetest)
if __name__== '__main__':
a = temp_class()
a.createDataFrame()
a.changeSize()
在创建数据框之前,我有大约。 15 mb 的内存使用量
创建后 - 67mb
更改大小后 - 67 mb
删除原始数据框后 - 35mb
删除缩减表后 - 31 mb。
16 MB?
我在 Windows 7 (x64) 机器上使用 python 2.7.2(x32),pandas。版本 是 0.7.3。 numpy.version 是 1.6.1
最佳答案
需要指出的几点:
在“Check memory after changing size”中,你还没有删除原来的DataFrame,所以这会使用更多的内存
Python 解释器对占用操作系统内存有点贪心。
我对此进行了调查,可以向您保证 pandas 不会泄漏内存。我正在使用 memory_profiler (http://pypi.python.org/pypi/memory_profiler) 包:
import time, string, pandas, numpy, gc
from memory_profiler import LineProfiler, show_results
import memory_profiler as mprof
prof = LineProfiler()
@prof
def test(nrow=1000000, ncol = 4, timetest = 5):
from_ = nrow // 10
to_ = 9 * nrow // 10
df = pandas.DataFrame(numpy.random.randn(nrow, ncol),
index = numpy.random.randn(nrow),
columns = list(string.letters[0:ncol]))
df_new = df[from_:to_].copy()
del df
del df_new
gc.collect()
test()
# for _ in xrange(10):
# print mprof.memory_usage()
show_results(prof)
这是输出
10:15 ~/tmp $ python profmem.py
Line # Mem usage Increment Line Contents
==============================================
7 @prof
8 28.77 MB 0.00 MB def test(nrow=1000000, ncol = 4, timetest = 5):
9 28.77 MB 0.00 MB from_ = nrow // 10
10 28.77 MB 0.00 MB to_ = 9 * nrow // 10
11 59.19 MB 30.42 MB df = pandas.DataFrame(numpy.random.randn(nrow, ncol),
12 66.77 MB 7.58 MB index = numpy.random.randn(nrow),
13 90.46 MB 23.70 MB columns = list(string.letters[0:ncol]))
14 114.96 MB 24.49 MB df_new = df[from_:to_].copy()
15 114.96 MB 0.00 MB del df
16 90.54 MB -24.42 MB del df_new
17 52.39 MB -38.15 MB gc.collect()
所以确实,使用的内存比我们开始时多。但是它漏水了吗?
for _ in xrange(20):
test()
print mprof.memory_usage()
并输出:
10:19 ~/tmp $ python profmem.py
[52.3984375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59375]
[122.59765625]
[122.59765625]
[122.59765625]
因此,实际上发生的事情是,Python 进程正在占用一个内存池,因为它一直在使用内存池,以避免必须不断地从主机操作系统请求更多内存(然后释放它)。我不知道这背后的所有技术细节,但至少这是正在发生的事情。
关于python - Pandas :这里的内存泄漏在哪里?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10601041/
IntentReceiver 正在泄漏 由于 onDetachedFromWindow 在某些情况下未被调用。 @Override protected void onDetachedFromWind
好吧,我很难追踪这个内存泄漏。运行此脚本时,我没有看到任何内存泄漏,但我的 objectalloc 正在攀升。 Instruments 指向 CGBitmapContextCreateImage >
我编写了一个测试代码来检查如何使用 Instrument(Leaks)。我创建了一个单一 View 应用程序,单击按钮后我加载了一个像这样的新 View ... - (IBAction)btn_clk
我正在使用这个简单的代码并观察单调增加的内存使用量。我正在使用这个小模块将内容转储到磁盘。我观察到它发生在 unicode 字符串上而不是整数上,我做错了什么吗? 当我这样做时: >>> from u
我有以下泄漏的代码。 Instruments 表示,泄漏的是 rssParser 对象。我“刷新”了 XML 提要,它运行了该 block 并且发生了泄漏...... 文件.h @interface
我在我编写的以下代码片段中发现了内存泄漏 NSFileManager *fileManager=[[NSFileManager alloc] init]; fileList=[[fileManager
因此,我正在开发HTML5 / javascript rts游戏。观察一直有几种声音在播放。因此,对我来说,是一段时间后声音听起来像是“崩溃”,并且此浏览器选项卡上的所有声音都停止了工作。我只能通过重
下面是我正在使用的一段代码及其输出。 my $handle; my $enterCount = Devel::Leak::NoteSV($handle); print "$date entry $en
在这篇关于 go-routines 泄漏的帖子之后,https://www.ardanlabs.com/blog/2018/11/goroutine-leaks-the-forgotten-sende
我想知道为什么在执行 ./a.out 后随机得到以下结果。有什么想法我做错了吗?谢谢 http://img710.imageshack.us/img710/8708/trasht.png 最佳答案 正
我正在 Swift 中开发一个应用程序,在呈现捕获我放在一起的二维码的自定义 ViewController 后,我注意到出现了巨大的内存跳跃。 该代码本质上基于以下示例:http://www.appc
下面是我的 javascript 代码片段。它没有按预期运行,请帮我解决这个问题。 function getCurrentLocation() { console.log("insi
我们在生产环境中部署了 3 个代理 Kafka 0.10.1.0。有些应用程序嵌入了 Kafka Producer,它们将应用程序日志发送到某个主题。该主题有 10 个分区,复制因子为 3。 我们观察
我正在使用仪器来检测一些泄漏,但有一些泄漏我无法解决; NSMutableString *textedetails = [[NSMutableString alloc] init];
如果我使用性能工具测试我的代码 - 泄漏,它没有检测到任何泄漏。这是否意味着代码没有泄漏任何内存? 我有一个越狱的 iPhone,我可以监控可用内存。如果有人知道,那就是 SBSettings。我测试
我在从 AddressBook 中获取图像时遇到了很大的问题,下面我粘贴了我的代码。此 imageData 从未被释放,在我的 Allocations Instruments 上它看起来总是在内存中它
- (NSMutableArray *)getArrayValue:(NSArray *)array{ NSMutableArray *valueArray = [NSMutableArra
Instruments 工具说这是一个泄漏,有什么想法吗? 我在 for 循环结束时释放变量对象 在上述方法的开头,这就是我设置变量对象的方式,即自动释放; NSMutableArray *varia
我正在跟踪我的 iOS 应用程序的内存泄漏,我有一个奇怪的泄漏导致我的应用程序崩溃......负责的框架是:CGImageMergeXMPPropsWhithLegacyProps。在某些时候,我的应
我正在尝试使用 NSOperationQueue 在后台线程中执行一个方法,如下所示: NSOperationQueue *queue = [NSOperationQueue new]; NS
我是一名优秀的程序员,十分优秀!