个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
27
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章使用TensorBoard进行超参数优化的实现由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
在本文中，我们将介绍超参数优化，然后使用TensorBoard显示超参数优化的结果.
深度神经网络的超参数是什么？
深度学习神经网络的目标是找到节点的权重，这将帮助我们理解图像、文本或语音中的数据模式.
要做到这一点，可以使用为模型提供最佳准度和精度的值来设计神经网络参数.
那么，这些被称为超参数的参数是什么呢？
用于训练神经网络模型的不同参数称为超参数。这些超参数像旋钮一样被调优，以提高神经网络的性能，从而产生一个优化的模型。超参数的一个通俗的解释是：用来优化参数的参数.
神经网络中的一些超参数是:
1.隐藏层的数量 2.隐含层中单位或节点的集合的数量 3.学习速率 4.DropOut比例 5.迭代次数 6.优化器的选择如SGD, Adam, AdaGrad, Rmsprop等 7.激活函数选择如ReLU, sigmoid, leaky ReLU等 8.批次大小 。
如何实现超参数优化？
超参数优化是寻找深度学习算法的优化器、学习率、等超参数值，从而获得最佳模型性能的过程.
可以使用以下技术执行超参数优化.
为了在TensorBoard中可视化模型的超参数并进行调优，我们将使用网格搜索技术，其中我们将使用一些超参数，如不同的节点数量，不同的优化器，或学习率等看看模型的准确性和损失.
为什么使用TensorBoard进行超参数优化？
一幅图片胜过千言万语，这也适用于复杂的深度学习模型。深度学习模型被认为是一个黑盒子，你发送一些输入数据，模型做一些复杂的计算，输出结果.
TensorBoard是Tensorflow的一个可视化工具包，用于显示不同的指标、参数和其他可视化，帮助调试、跟踪、微调、优化和共享深度学习实验结果 。
TensorBoard可以跟踪模型在每个训练迭代的精度和损失,
还有不同的超参数值。不同超参数值的跟踪精度将帮助您更快地微调模型.
我们将使用猫和狗数据集使用TensorBoard可视化标量、图形和分布.
https://www.kaggle.com/c/dogs-vs-cats/data 。
导入所需的库 。
导入TensorFlow和TensorBoard HParams插件以及Keras库来预处理图像和创建模型.
|
1
2
3
4
5
6
7
|
import
tensorflow as tf
from
tensorboard.plugins.hparams
import
api as hp
import
datetime
from
tensorflow.keras.models
import
Sequential
from
tensorflow.keras.layers
import
Dense, Conv2D, Flatten, Dropout, MaxPooling2D
from
tensorflow.keras.preprocessing.image
import
ImageDataGenerator, img_to_array, load_img
import
numpy as np
|
加载TensorBoard notebook扩展 。
|
1
2
|
# Load the TensorBoard notebook extension
%
load_ext tensorboard
|
创建图像分类的深度学习模型 。
为训练设置关键参数 。
|
1
2
3
4
5
6
|
BASE_PATH
=
'Data\\dogs-vs-cats\\train\\'
TRAIN_PATH
=
'Data\\dogs-vs-cats\\train_data\\'
VAL_PATH
=
'Data\\dogs-vs-cats\\validation_data\\'
batch_size
=
32
epochs
=
5
IMG_HEIGHT
=
150
IMG_WIDTH
=
150
|
对训练图像进行缩放和不同的增强 。
|
1
2
3
4
5
6
7
|
train_image_generator
=
ImageDataGenerator(
rescale
=
1.
/
255
,
rotation_range
=
45
,
width_shift_range
=
.
15
,
height_shift_range
=
.
15
,
horizontal_flip
=
True
,
zoom_range
=
0.3
)
|
重新调节验证数据 。
|
1
|
validation_image_generator
=
ImageDataGenerator(rescale
=
1.
/
255
)
|
为训练和验证生成成批的规范化数据 。
|
1
2
3
4
5
6
7
8
9
10
|
train_data_gen
=
train_image_generator.flow_from_directory(
batch_size
=
batch_size,
directory
=
TRAIN_PATH,
shuffle
=
True
,
target_size
=
(IMG_HEIGHT, IMG_WIDTH),
class_mode
=
'categorical'
)
val_data_gen
=
validation_image_generator.flow_from_directory(batch_size
=
batch_size,
directory
=
VAL_PATH,
target_size
=
(IMG_HEIGHT, IMG_WIDTH),
class_mode
=
'categorical'
)
|
为网格搜索（Grid Search）设置超参数 。
我们通过列出超参数的不同值或取值范围，使用了四个超参数来运行我们的实验.
对于离散超参数，将尝试所有可能的参数组合，对于实值参数，只使用下界和上界.
第一层的单元数量:256和512 。
dropout比例:范围在0.1到0.2之间。所以dropout比例是0。1和0。2.
优化器:adam, SGD, rmsprop 。
优化器的学习率:0.001,0.0001和0.0005， 。
我们还将准确率显示在TensorBoard 上 。
|
1
2
3
4
5
|
## Create hyperparameters
HP_NUM_UNITS
=
hp.HParam(
'num_units'
, hp.Discrete([
256
,
512
]))
HP_DROPOUT
=
hp.HParam(
'dropout'
, hp.RealInterval(
0.1
,
0.2
))
HP_LEARNING_RATE
=
hp.HParam(
'learning_rate'
, hp.Discrete([
0.001
,
0.0005
,
0.0001
]))
HP_OPTIMIZER
=
hp.HParam(
'optimizer'
, hp.Discrete([
'adam'
,
'sgd'
,
'rmsprop'
]))METRIC_ACCURACY
=
'accuracy'
|
创建和配置日志文件 。
|
1
2
3
4
5
6
7
|
log_dir
=
'\\logs\\fit\\' + datetime.datetime.now().strftime('
%
Y
%
m
%
d
-
%
H
%
M
%
S')
with tf.summary.create_file_writer(log_dir).as_default():
hp.hparams_config(
hparams
=
[HP_NUM_UNITS, HP_DROPOUT, HP_OPTIMIZER, HP_LEARNING_RATE],
metrics
=
[hp.Metric(METRIC_ACCURACY, display_name
=
'Accuracy'
)],
)
|
创建、编译和训练模型 。
超参数不是硬编码的，但从hparams字典为不同的参数:HP_DROPOUT , HP_NUM_UNITS ，HP_OPTIMIZER ，HP_LEARNING_RATE.
函数返回最后一个批次的验证准确性.
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
|
def
create_model(hparams):
model
=
Sequential([
Conv2D(
64
,
3
, padding
=
'same'
, activation
=
'relu'
,
input_shape
=
(IMG_HEIGHT, IMG_WIDTH ,
3
)),
MaxPooling2D(),
#setting the Drop out value based on HParam
Dropout(hparams[HP_DROPOUT]),
Conv2D(
128
,
3
, padding
=
'same'
, activation
=
'relu'
),
MaxPooling2D(),
Dropout(hparams[HP_DROPOUT]),
Flatten(),
Dense(hparams[HP_NUM_UNITS], activation
=
'relu'
),
Dense(
2
, activation
=
'softmax'
)])
#setting the optimizer and learning rate
optimizer
=
hparams[HP_OPTIMIZER]
learning_rate
=
hparams[HP_LEARNING_RATE]
if
optimizer
=
=
"adam"
:
optimizer
=
tf.optimizers.Adam(learning_rate
=
learning_rate)
elif
optimizer
=
=
"sgd"
:
optimizer
=
tf.optimizers.SGD(learning_rate
=
learning_rate)
elif
optimizer
=
=
'rmsprop'
:
optimizer
=
tf.optimizers.RMSprop(learning_rate
=
learning_rate)
else
:
raise
ValueError(
"unexpected optimizer name: %r"
%
(optimizer_name,))
# Comiple the mode with the optimizer and learninf rate specified in hparams
model.
compile
(optimizer
=
optimizer,
loss
=
'categorical_crossentropy'
,
metrics
=
[
'accuracy'
])
#Fit the model
history
=
model.fit_generator(
train_data_gen,
steps_per_epoch
=
1000
,
epochs
=
epochs,
validation_data
=
val_data_gen,
validation_steps
=
1000
,
callbacks
=
[
tf.keras.callbacks.TensorBoard(log_dir),
# log metrics
hp.KerasCallback(log_dir, hparams),
# log hparams
])
return
history.history[
'val_accuracy'
][
-
1
]
|
对于模型的每次运行，使用超参数和最终批次精度记录hparams都会被纪律。我们需要将最后一个批次的验证精度转换为标量值.
|
1
2
3
4
5
6
7
|
def
run(run_dir, hparams):
with tf.summary.create_file_writer(run_dir).as_default():
hp.hparams(hparams)
# record the values used in this trial
accuracy
=
create_model(hparams)
#converting to tf scalar
accuracy
=
tf.reshape(tf.convert_to_tensor(accuracy), []).numpy()
tf.summary.scalar(METRIC_ACCURACY, accuracy, step
=
1
)
|
用不同的超参数值运行模型 。
这里的实验使用网格搜索，并测试第一层单元数的所有可能的超参数组合，Dropout比例、优化器及其学习率，以及准确度用于准确性.
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
session_num
=
0for
num_units
in
HP_NUM_UNITS.domain.values:
for
dropout_rate
in
(HP_DROPOUT.domain.min_value, HP_DROPOUT.domain.max_value):
for
optimizer
in
HP_OPTIMIZER.domain.values:
for
learning_rate
in
HP_LEARNING_RATE.domain.values:
hparams
=
{
HP_NUM_UNITS: num_units,
HP_DROPOUT: dropout_rate,
HP_OPTIMIZER: optimizer,
HP_LEARNING_RATE: learning_rate,
}
run_name
=
"run-%d"
%
session_num
print
(
'--- Starting trial: %s'
%
run_name)
print
({h.name: hparams[h]
for
h
in
hparams})
run(
'logs/hparam_tuning/'
+
run_name, hparams)
session_num
+
=
1
|
在HParams中可视化结果 。
|
1
|
python
-
m tensorboard.main
-
-
logdir
=
"logs/hparam_tuning"
|
当按精度降序排序时，可以看到最优化的模型是256台，dropout比例为0.2,rmsprop优化器学习率为0.0005.
在jupyter notebook中可以使用以下命令查看 。
|
1
|
%
tensorboard
-
-
logdir
=
'\logs\hparam_tuning'
|
在Tensorboard中使用Parallel Coordinates视图，显示每个超参数的单独运行情况并显示精度，查找最优化的超参数，以获得最佳的模型精度 。
总结 。
Tensorboard为超参数调优提供了一种可视化的方式来了解哪些超参数可以用于微调深度学习模型以获得最佳精度，更多的操作可以查看官方文档:
https://www.tensorflow.org/tensorboard/hyperparameter_tuning_with_hparams 。
作者：Renu Khandelwal 。
deephub翻译组 。
到此这篇关于使用TensorBoard进行超参数优化的实现的文章就介绍到这了,更多相关TensorBoard 超参数优化内容请搜索我以前的文章或继续浏览下面的相关文章希望大家以后多多支持我！ 。
原文链接：https://blog.csdn.net/m0_46510245/article/details/107119610 。
最后此篇关于使用TensorBoard进行超参数优化的实现的文章就讲到这里了,如果你想了解更多关于使用TensorBoard进行超参数优化的实现的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
27
4
0
背景: 我最近一直在使用 JPA，我为相当大的关系数据库项目生成持久层的轻松程度给我留下了深刻的印象。 我们公司使用大量非 SQL 数据库，特别是面向列的数据库。我对可能对这些数据库使用 JPA 有一
我已经在我的 maven pom 中添加了这些构建配置，因为我希望将 Apache Solr 依赖项与 Jar 捆绑在一起。否则我得到了 SolarServerException: ClassNotF
interface ITurtle { void Fight(); void EatPizza(); } interface ILeonardo : ITurtle {
我希望可用于 Java 的对象/关系映射 (ORM) 工具之一能够满足这些要求: 使用 JPA 或 native SQL 查询获取大量行并将其作为实体对象返回。 允许在行(实体)中进行迭代，并在对当前
好像没有，因为我有实现From for 的代码, 我可以转换 A到 B与 .into() , 但同样的事情不适用于 Vec .into()一个Vec . 要么我搞砸了阻止实现派生的事情，要么这不应该发
在 C# 中，如果 A 实现 IX 并且 B 继承自 A ，是否必然遵循 B 实现 IX？如果是，是因为 LSP 吗？之间有什么区别吗: 1. Interface IX; Class A : IX;
就目前而言，这个问题不适合我们的问答形式。我们希望答案得到事实、引用资料或专业知识的支持，但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visit the
我正在阅读标准haskell库的(^)的实现代码: (^) :: (Num a, Integral b) => a -> b -> a x0 ^ y0 | y0 a -> b ->a expo x0
我将把国际象棋游戏表示为 C++ 结构。我认为，最好的选择是树结构(因为在每个深度我们都有几个可能的移动)。 这是一个好的方法吗？ struct TreeElement{ SomeMoveType
我正在为用户名数据库实现字符串匹配算法。我的方法采用现有的用户名数据库和用户想要的新用户名，然后检查用户名是否已被占用。如果采用该方法，则该方法应该返回带有数据库中未采用的数字的用户名。 例子: “贾
我正在尝试实现 Breadth-first search algorithm , 为了找到两个顶点之间的最短距离。我开发了一个 Queue 对象来保存和检索对象，并且我有一个二维数组来保存两个给定顶点
我目前正在 ika 中开发我的 Python 游戏，它使用 python 2.5 我决定为 AI 使用 A* 寻路。然而，我发现它对我的需要来说太慢了(3-4 个敌人可能会落后于游戏，但我想供应 4-
我正在寻找 Kademlia 的开源实现C/C++ 中的分布式哈希表。它必须是轻量级和跨平台的(win/linux/mac)。 它必须能够将信息发布到 DHT 并检索它。 最佳答案 OpenDHT是
我在一本书中读到这一行:-“当我们要求 C++ 实现运行程序时，它会通过调用此函数来实现。” 而且我想知道“C++ 实现”是什么意思或具体是什么。帮忙!？ 最佳答案 “C++ 实现”是指编译器加上链接
我正在尝试使用分支定界的 C++ 实现这个背包问题。此网站上有一个 Java 版本:Implementing branch and bound for knapsack 我试图让我的 C++ 版本打印
在很多情况下，我需要在 C# 中访问合适的哈希算法，从重写 GetHashCode 到对数据执行快速比较/查找。 我发现 FNV 哈希是一种非常简单/好/快速的哈希算法。但是，我从未见过 C# 实现的
目录 LRU缓存替换策略 核心思想 不适用场景 算法基本实现 算法优化
1. 绪论 在前面文章中提到 空间直角坐标系相互转换 ，测绘坐标转换时，一般涉及到的情况是：两个直角坐标系的小角度转换。这个就是我们经常在测绘数据处理中，WGS-84坐标系、54北京坐标系
在软件开发过程中，有时候我们需要定时地检查数据库中的数据，并在发现新增数据时触发一个动作。为了实现这个需求，我们在 .Net 7 下进行一次简单的演示. PeriodicTimer .
二分查找 二分查找算法，说白了就是在有序的数组里面给予一个存在数组里面的值key，然后将其先和数组中间的比较，如果key大于中间值，进行下一次mid后面的比较，直到找到相等的，就可以得到它的位置。
我是一名优秀的程序员,十分优秀！