个人中心
文章发布
退出
作者热门文章
- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
26
4
我们已经为一些回归任务训练了一个 Extra Tree 模型。我们的模型由 3 棵额外的树组成，每棵树有 200 棵深度为 30 的树。在这 3 棵额外的树之上，我们使用岭回归。
我们对模型进行了数小时的训练，并pickled 训练后的模型(整个类对象)以备后用。但是，保存的训练好的模型太大了，大约140GB!
有没有办法减小保存模型的大小？ pickle 中是否有任何可能有用的配置，或者 pickle 的任何替代方案？
最佳答案
您可以尝试使用带有压缩参数的joblib。
from sklearn.externals import joblib
joblib.dump(your_algo, 'pickle_file_name.pkl', compress=3)
compress - 从 0 到 9。更高的值意味着更多的压缩，但也更慢的读写时间。使用值 3 通常是一个很好的折衷。
您可以使用 python 标准压缩模块 zlib、gzip、bz2、lzma 和 xz。要使用它，您只需指定具有特定扩展名的格式
例子:
joblib.dump(obj, 'your_filename.pkl.z') # zlib
更多信息，请参阅 link .
关于python - 经过训练的机器学习模型太大，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/43591621/
26
4
0
real adaboost Logit boost discrete adaboost 和 gentle adaboost in train cascade parameter 有什么区别.. -bt
我想为 book crossing 构建训练数据矩阵和测试数据矩阵数据集。但作为 ISBN 代码的图书 ID 可能包含字符。因此，我无法应用此代码(来自 tutorial ): #Create two
我找到了 JavaANPR 库，我想对其进行自定义以读取我所在国家/地区的车牌。 似乎包含的字母表与我们使用的字母表不同 ( http://en.wikipedia.org/wiki/FE-Schri
我有一个信用卡数据集，其中 98% 的交易是非欺诈交易，2% 是欺诈交易。 我一直在尝试在训练和测试拆分之前对多数类别进行欠采样，并在测试集上获得非常好的召回率和精度。 当我仅在训练集上进行欠采样并在
我打算: 在数据集上从头开始训练 NASNet 只重新训练 NASNet 的最后一层(迁移学习) 并比较它们的相对性能。从文档中我看到: keras.applications.nasnet.NASNe
我正在训练用于分割的 uNet 模型。训练模型后，输出全为零，我不明白为什么。 我看到建议我应该使用特定的损失函数，所以我使用了 dice 损失函数。这是因为黑色区域 (0) 比白色区域 (1) 大得
我想为新角色训练我现有的 tesseract 模型。我已经尝试过 上的教程 https://github.com/tesseract-ocr/tesseract/wiki/TrainingTesser
我的机器中有两个 NVidia GPU，但我没有使用它们。 我的机器上运行了三个神经网络训练。当我尝试运行第四个时，脚本出现以下错误: my_user@my_machine:~/my_project/
我想在python的tensorflow中使用稀疏张量进行训练。我找到了很多代码如何做到这一点，但没有一个有效。 这里有一个示例代码来说明我的意思，它会抛出一个错误: import numpy as
我正在训练一个 keras 模型，它的最后一层是单个 sigmoid单元: output = Dense(units=1, activation='sigmoid') 我正在用一些训练数据训练这个模型
所以我需要使用我自己的数据集重新训练 Tiny YOLO。我正在使用的模型可以在这里找到:keras-yolo3 . 我开始训练并遇到多个优化器错误，添加了错误代码以防止混淆。 我注意到即使它应该使用
将 BERT 模型中的标记化范式更改为其他东西是否有意义？也许只是一个简单的单词标记化或字符级标记化？ 最佳答案 这是论文“CharacterBERT: Reconciling ELMo and BE
假设我有一个非常简单的神经网络，比如多层感知器。对于每一层，激活函数都是 sigmoid 并且网络是全连接的。 在 TensorFlow 中，这可能是这样定义的: sess = tf.Inte
有没有办法在 PyBrain 中保存和恢复经过训练的神经网络，这样我每次运行脚本时都不必重新训练它？ 最佳答案 PyBrain 的神经网络可以使用 python 内置的 pickle/cPickle
我尝试使用 Keras 训练一个对手写数字进行分类的 CNN 模型，但训练的准确度很低(低于 10%)并且误差很大。我尝试了一个简单的神经网络，但没有效果。 这是我的代码。 import tensor
我在 Windows 7 64 位上使用 tesseract 3.0.1。我用一种新语言训练图书馆。 我的示例数据间隔非常好。当我为每个角色的盒子定义坐标时，盒子紧贴角色有多重要？我使用其中一个插件，
如何对由 dropout 产生的许多变薄层进行平均？在测试阶段要使用哪些权重？我真的很困惑这个。因为每个变薄的层都会学习一组不同的权重。那么反向传播是为每个细化网络单独完成的吗？这些细化网络之间的权重
我尝试训练超正方语言。我正在使用 Tess4J 进行 OCR 处理。我使用jTessBoxEditor和SerakTesseractTrainer进行训练操作。准备好训练数据后，我将其放在 Tesse
我正在构建一个 Keras 模型，将数据分类为 3000 个不同的类别，我的训练数据由大量样本组成，因此在用一种热编码对训练输出进行编码后，数据非常大(item_count * 3000 * 的大小)
关闭。这个问题需要多问focused 。目前不接受答案。 想要改进此问题吗？更新问题，使其仅关注一个问题 editing this post . 已关闭 8 年前。 Improve this ques
我是一名优秀的程序员,十分优秀！