gpt4 book ai didi

python - 我们可以用 python 生成器读取 pickle 文件中的数据吗

转载 作者:行者123 更新时间:2023-12-02 19:48:05 25 4
gpt4 key购买 nike

我有一个很大的 pickle 文件,我想从 pickle 文件加载数据来训练深度学习模型。如果我可以使用生成器为每个键加载数据,有什么办法吗?数据在 pickle 文件中以字典的形式存在。我正在使用 pickle.load(filename),但我担心它在运行模型时会占用太多内存。我最初使用 pickle.HIGHEST_PROTOCOL 将数据转储到 pickle 文件。

最佳答案

没有。 pickle 文件格式不像 JSON 或其他格式,您只能读取其中的一部分并逐步对其进行解码。 pickle 文件是构建 Python 对象的指令列表,就像遵循一半的指令烤蛋糕不会烤出一半蛋糕一样,阅读一半的 pickle 不会给你一半的 pickle 对象。

关于python - 我们可以用 python 生成器读取 pickle 文件中的数据吗,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58869572/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com