python - Tensorflow 启动快，训练过程中变慢-6ren

python - Tensorflow 启动快，训练过程中变慢

转载作者：太空宇宙更新时间：2023-11-04 10:07:13

24

4

<分区>

我是一名电气工程专业的学生，我正在尝试使用 Python 3.5 和 tensorflow 根据锅炉内电阻器的功率、锅炉中的水温以及流经锅炉的水流对工业厂房进行建模。问题是我是 python 和 tensorflow 的初学者，我编写了这段有效的代码，但是训练开始很快，然后很快开始减慢，并且在训练中间它开始在步骤之间花费很长时间。我只是需要一些优化方面的帮助，当然，欢迎任何提示!非常感谢!这是代码:

import numpy as np
import tensorflow as tf
input_vec_size = 3
step_size = 0.05
batch_size = 3
test_size = 16
train_end = 1905
eval_end = 290
predict_end = 1396
n_cores = 4
def read_my_file_format(filename_queue):
    line_reader = tf.TextLineReader(skip_header_lines=1)
    _, csv_row = line_reader.read(filename_queue)
    record_defaults = [[0.0], [0.0], [0.0], [0.0]]
    time, power_in, temperature, flow = \
        tf.decode_csv(csv_row, record_defaults=record_defaults)
    features = tf.pack([
        power_in,
        temperature
        ])
    return features, flow
def input_pipeline(directory, batch_size, n_cores, buffer_size, num_epochs=None):
    filename_queue = tf.train.string_input_producer(
      tf.train.match_filenames_once(directory),
      shuffle=True)
    features, flow = read_my_file_format(filename_queue)
    x, y = tf.train.batch(
         [features, flow], batch_size=batch_size, allow_smaller_final_batch=True)
def init_weights(shape):
    return tf.Variable(tf.random_normal(shape, stddev=0.001))
def init_bias(shape): #inicializa bias
    initial = tf.constant(0.001, shape=shape) #variancia 0.1
    return tf.Variable(initial)
def model(X, w_h, w_h2, w_o, B, B2, B3, p_keep_input, p_keep_hidden): 
    X = tf.nn.dropout(X, p_keep_input)
    h = tf.nn.relu(tf.matmul(X, w_h)+B)
    h = tf.nn.dropout(h, p_keep_hidden)
    h2 = tf.nn.relu(tf.matmul(h, w_h2)+B2)
    h2 = tf.nn.dropout(h2, p_keep_hidden)
    return tf.matmul(h2, w_o)+B3

X = tf.placeholder("float", [None, input_vec_size])
Y = tf.placeholder("float", [None, 1])
p_keep_hidden = tf.placeholder("float")
p_keep_input = tf.placeholder("float")
w_h = init_weights([input_vec_size, fclayer_size])
w_h2= init_weights([fclayer_size, fclayer_size])
w_o= init_weights([fclayer_size, 1])
B = init_bias([fclayer_size])
B2 = init_bias([fclayer_size])
B3 = init_bias([1])
py_x = model(X, w_h, w_h2, w_o, B, B2, B3, p_keep_input, p_keep_hidden)
predict_op = py_x[0]
cost = tf.reduce_mean(tf.square(predict_op - Y))
train_op = tf.train.MomentumOptimizer(step_size, 0.5).minimize(cost)
saver = tf.train.Saver()
directory = "./train/*.csv"
x, y = input_pipeline(directory, batch_size, n_cores, buffer_size, num_epochs=None)
directory_eval = "./eval/*.csv"
xe, ye = input_pipeline(directory_eval, test_size, n_cores, buffer_size, num_epochs=None)
directory_predict = "./predict/*.csv"
xp, yp = input_pipeline(directory_predict, test_size, n_cores, buffer_size, num_epochs=None)

with tf.Session() as sess:
    tf.initialize_all_variables().run()
    coord = tf.train.Coordinator()
    threads = tf.train.start_queue_runners(coord=coord)
    print("==================================TREINAMENTO=================================")
    for iteraction in range(int(train_end/batch_size)):
        trX, trY = sess.run([x,y])
        for i in range(0, batch_size):
            features, features_past, features_past2 = sess.run(tf.unpack(trX[i])), sess.run(tf.unpack(trX[i-1])), sess.run(tf.unpack(trX[i-2]))
        power_in_i = features[0] - 4
        temperature_i = features[1]
        temperature_i1 = features_past[1]
        temperature_i2 = features_past2[1]
        trX_now = tf.pack([power_in_i, (temperature_i-temperature_i1), (temperature_i-temperature_i2)])
        trX_now = sess.run(trX_now)
        X_Batch, Y_Batch = trX_now.reshape([-1, input_vec_size]), trY[i].reshape([-1, 1])
        sess.run(train_op, feed_dict={X: X_Batch,
                                      Y: Y_Batch, p_keep_input: 0.95, p_keep_hidden: 0.7})
        if(i%batch_size == 0):
            predict_train = sess.run(tf.reshape(predict_op, [-1, 1]), feed_dict={X: X_Batch, p_keep_input: 1.0, p_keep_hidden: 1.0})
            train_cost = sess.run(cost, feed_dict={py_x: predict_train, Y: Y_Batch})
            print("Train Batch:", iteraction,"Sample:", batch_size*iteraction, "X:", X_Batch, "Y:", Y_Batch, "y_:",
                predict_train, "Cost:", train_cost)
    saver.save(sess, "./model.ckpt")
    print('Variaveis salvas com sucesso')
    coord.request_stop()
    coord.join(threads)
    sess.close()
    print('=============================Fim do Treinamento=============================')
with tf.Session() as sess:
    tf.initialize_all_variables().run()
    coord = tf.train.Coordinator()
    threads = tf.train.start_queue_runners(coord=coord)

    print("==============================VALIDAÇAO==================================")
    saver.restore(sess, "./model.ckpt")
    print("Model restored.")
    for iteraction in range(int(eval_end/test_size)):
        teX, teY = sess.run([xe, ye])
        for i in range(0, test_size):
            features, features_past, features_past2 = sess.run(tf.unpack(teX[i])), sess.run(tf.unpack(teX[i - 1])), sess.run(tf.unpack(teX[i-2]))
        power_in_i = features[0] - 4
        temperature_i = features[1]
        temperature_i1 = features_past[1]
        teX_now = tf.pack([power_in_i, (temperature_i - temperature_i1), (temperature_i-temperature_i2)])
        teX_now = sess.run(teX_now)
        X_Batch, Y_Batch = teX_now.reshape([-1, input_vec_size]), teY[i].reshape([-1, 1])
        predict_eval = sess.run(tf.reshape(predict_op, [-1, 1]), feed_dict={X: X_Batch, p_keep_input: 1.0, p_keep_hidden: 1.0})
        eval_cost = sess.run(cost, feed_dict={py_x: predict_eval, Y: Y_Batch})
        print("Eval Batch:", iteraction,"Sample:", batch_size*iteraction, "X:", X.eval(feed_dict={X: X_Batch}), "Y:", Y_Batch, "y_:",
             predict_eval, "Cost:", eval_cost)
    coord.request_stop()
    coord.join(threads)
    sess.close()
print('=============================FIM DA VALIDAÇAO=============================')

with tf.Session() as sess:
    tf.initialize_all_variables().run()
    coord = tf.train.Coordinator()
    threads = tf.train.start_queue_runners(coord=coord)

    print("==============================PREDIÇÃO==================================")
    saver.restore(sess, "./model.ckpt")
    print("Model restored.")
    predict_batch_mean = 0
    predict_mean = 0
    for iteraction in range(int(predict_end / test_size)):
        tpX, tpY = sess.run([xp, yp])
        for i in range(0, test_size):
            features, features_past, features_past2 = sess.run(tf.unpack(tpX[i])), sess.run(tf.unpack(tpX[i - 1])), sess.run(tf.unpack(tpX[i-2]))
            power_in_i = features[0]- 4
            temperature_i = features[1]
            temperature_i1 = features_past[1]
            tpX_now = tf.pack([power_in_i, (temperature_i - temperature_i1), (temperature_i-temperature_i2)])
            tpX_now = sess.run(tpX_now)
            X_Batch, Y_Batch = tpX_now.reshape([-1, input_vec_size]), tpY[i].reshape([-1, 1])
            prediction = sess.run(tf.reshape(predict_op, [-1, 1]), feed_dict={X: X_Batch, p_keep_input: 1.0, p_keep_hidden: 1.0})
            print("Predict Batch:", iteraction,"Sample:", batch_size*iteraction, "X:", X.eval(feed_dict={X: X_Batch}), "y_:",
                prediction)
            predict_batch_mean = (predict_batch_mean + prediction)/i
        predict_mean = (predict_mean + predict_batch_mean)/iteraction
        print("Predicted Flow:", predict_mean)
    coord.request_stop()
    coord.join(threads)
    sess.close()

24

4

0

文章推荐： html - li 元素的未知边距

文章推荐： node.js - 缺少来自 Node 中子进程的信息

文章推荐： c# - 无法在代码隐藏中将背景图像设置为重复线性渐变

Opencv 训练
real adaboost Logit boost discrete adaboost 和 gentle adaboost in train cascade parameter 有什么区别.. -bt
python - 训练/测试矩阵图书交叉推荐系统
我想为 book crossing 构建训练数据矩阵和测试数据矩阵数据集。但作为 ISBN 代码的图书 ID 可能包含字符。因此，我无法应用此代码(来自 tutorial ): #Create two
针对不同格式车牌的 JavaANPR 训练
我找到了 JavaANPR 库，我想对其进行自定义以读取我所在国家/地区的车牌。似乎包含的字母表与我们使用的字母表不同 ( http://en.wikipedia.org/wiki/FE-Schri
machine-learning - 训练/测试拆分之前或之后的欠采样
我有一个信用卡数据集，其中 98% 的交易是非欺诈交易，2% 是欺诈交易。我一直在尝试在训练和测试拆分之前对多数类别进行欠采样，并在测试集上获得非常好的召回率和精度。当我仅在训练集上进行欠采样并在
python - Keras NASNet 训练
我打算: 在数据集上从头开始训练 NASNet 只重新训练 NASNet 的最后一层(迁移学习) 并比较它们的相对性能。从文档中我看到: keras.applications.nasnet.NASNe
python - 训练 uNet 模型预测只有黑色
我正在训练用于分割的 uNet 模型。训练模型后，输出全为零，我不明白为什么。我看到建议我应该使用特定的损失函数，所以我使用了 dice 损失函数。这是因为黑色区域 (0) 比白色区域 (1) 大得
bash - Tesseract 训练 - 微调角色
我想为新角色训练我现有的 tesseract 模型。我已经尝试过上的教程 https://github.com/tesseract-ocr/tesseract/wiki/TrainingTesser
python - 如何执行多个 NN 训练？
我的机器中有两个 NVidia GPU，但我没有使用它们。我的机器上运行了三个神经网络训练。当我尝试运行第四个时，脚本出现以下错误: my_user@my_machine:~/my_project/
python - 具有稀疏数据的 tensorflow 训练
我想在python的tensorflow中使用稀疏张量进行训练。我找到了很多代码如何做到这一点，但没有一个有效。这里有一个示例代码来说明我的意思，它会抛出一个错误: import numpy as
python - 训练 MSE 损失大于理论最大值？
我正在训练一个 keras 模型，它的最后一层是单个 sigmoid单元: output = Dense(units=1, activation='sigmoid') 我正在用一些训练数据训练这个模型
python - 训练 Keras 模型会产生多个优化器错误
所以我需要使用我自己的数据集重新训练 Tiny YOLO。我正在使用的模型可以在这里找到:keras-yolo3 . 我开始训练并遇到多个优化器错误，添加了错误代码以防止混淆。我注意到即使它应该使用
nlp - 使用字符嵌入进行 BERT 训练
将 BERT 模型中的标记化范式更改为其他东西是否有意义？也许只是一个简单的单词标记化或字符级标记化？最佳答案这是论文“CharacterBERT: Reconciling ELMo and BE
neural-network - TensorFlow 训练
假设我有一个非常简单的神经网络，比如多层感知器。对于每一层，激活函数都是 sigmoid 并且网络是全连接的。在 TensorFlow 中，这可能是这样定义的: sess = tf.Inte
pybrain - 如何保存和恢复 PyBrain 训练？
有没有办法在 PyBrain 中保存和恢复经过训练的神经网络，这样我每次运行脚本时都不必重新训练它？最佳答案 PyBrain 的神经网络可以使用 python 内置的 pickle/cPickle
python - 训练 CNN 后准确率较低
我尝试使用 Keras 训练一个对手写数字进行分类的 CNN 模型，但训练的准确度很低(低于 10%)并且误差很大。我尝试了一个简单的神经网络，但没有效果。这是我的代码。 import tensor
ocr - 训练 tesseract 时的正确间距
我在 Windows 7 64 位上使用 tesseract 3.0.1。我用一种新语言训练图书馆。我的示例数据间隔非常好。当我为每个角色的盒子定义坐标时，盒子紧贴角色有多重要？我使用其中一个插件，
neural-network - dropout 训练
如何对由 dropout 产生的许多变薄层进行平均？在测试阶段要使用哪些权重？我真的很困惑这个。因为每个变薄的层都会学习一组不同的权重。那么反向传播是为每个细化网络单独完成的吗？这些细化网络之间的权重
java - 训练 Tesseract - 加载训练语言失败
我尝试训练超正方语言。我正在使用 Tess4J 进行 OCR 处理。我使用jTessBoxEditor和SerakTesseractTrainer进行训练操作。准备好训练数据后，我将其放在 Tesse
python - 训练 Keras 模型时使用稀疏数组表示标签
我正在构建一个 Keras 模型，将数据分类为 3000 个不同的类别，我的训练数据由大量样本组成，因此在用一种热编码对训练输出进行编码后，数据非常大(item_count * 3000 * 的大小)
python - 训练 pyBrain 需要多长时间？
关闭。这个问题需要多问focused 。目前不接受答案。想要改进此问题吗？更新问题，使其仅关注一个问题 editing this post . 已关闭 8 年前。 Improve this ques

首页

博学

6Ren·AI

商城

python - Tensorflow 启动快，训练过程中变慢