gpt4 book ai didi

python - tcmalloc : large alloc . .. 在 Google Colab 中被杀死

转载 作者:行者123 更新时间:2023-12-04 14:21:11 32 4
gpt4 key购买 nike

我试图设置 MuseGAN在 Google Colab 中。我已经下载了数据,现在我正在通过运行脚本 ./scripts/process_data.sh 使用 SharedArray 包将数据存储到共享内存中来处理数据。 .我遇到了这个错误

> Loading data from '/content/musegan/scripts/../data/train_x_lpd_5_phr.npz'.
Saving data to shared memory.
tcmalloc: large alloc 6245990400 bytes == 0x26b6000 @ 0x7f97d2bea1e7 0x7f97d08e0a41 0x7f97d0943bb3 0x7f97d08e4937 0x5553b5 0x5a730c 0x503073 0x507641 0x504c28 0x502540 0x502f3d 0x507641 0x501945 0x591461 0x59ebbe 0x545068 0x506b39 0x502209 0x502f3d 0x506859 0x504c28 0x506393 0x634d52 0x634e0a 0x6385c8 0x63915a 0x4a6f10 0x7f97d27e7b97 0x5afa0a
./scripts/process_data.sh: line 5: 360 Killed python "$DIR/../src/process_data.py" "$DIR/../data/train_x_lpd_5_phr.npz"

有人可以解释一下吗?我不明白为什么我遇到了这个。我首先在没有 gpu(即只有 cpu)的机器上运行它时遇到了这个问题,然后我听说了 Google Colab。

最佳答案

这是一个关于 Google 如何处理不断增加的内存使用量并认为即使不会发生 OOM 也会发生的问题。
https://github.com/huggingface/transformers/issues/4668

关于python - tcmalloc : large alloc . .. 在 Google Colab 中被杀死,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54781171/

32 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com