tensorflow 获取变量&打印权值的实例讲解蒲京娱乐场网站:

在使用tensorflow中,我们常常需要获取某个变量的值,比如:打印某一层的权重,通常我们可以直接利用变量的name属性来获取,但是当我们利用一些第三方的库来构造神经网络的layer时,存在一种情况:就是我们自己无法定义该层的变量,因为是自动进行定义的。

在神经网络模型优化的过程中,会遇到许多问题,比如如何设置学习率的问题,我们可通过指数衰减的方式让模型在训练初期快速接近较优解,在训练后期稳定进入最优解区域;针对过拟合问题,通过正则化的方法加以应对;滑动平均模型可以让最终得到的模型在未知数据上表现的更加健壮。

蒲京娱乐场网站,比如用tensorflow的slim库时:

一、学习率的设置

def resnet_stack(images, output_shape, hparams, scope=None):
 """Create a resnet style transfer block.

 Args:
 images: [batch-size, height, width, channels] image tensor to feed as input
 output_shape: output image shape in form [height, width, channels]
 hparams: hparams objects
 scope: Variable scope

 Returns:
 Images after processing with resnet blocks.
 """
 end_points = {}
 if hparams.noise_channel:
 # separate the noise for visualization
 end_points['noise'] = images[:, :, :, -1]
 assert images.shape.as_list()[1:3] == output_shape[0:2]

 with tf.variable_scope(scope, 'resnet_style_transfer', [images]):
 with slim.arg_scope(
  [slim.conv2d],
  normalizer_fn=slim.batch_norm,
  kernel_size=[hparams.generator_kernel_size] * 2,
  stride=1):
  net = slim.conv2d(
   images,
   hparams.resnet_filters,
   normalizer_fn=None,
   activation_fn=tf.nn.relu)
  for block in range(hparams.resnet_blocks):
  net = resnet_block(net, hparams)
  end_points['resnet_block_{}'.format(block)] = net

  net = slim.conv2d(
   net,
   output_shape[-1],
   kernel_size=[1, 1],
   normalizer_fn=None,
   activation_fn=tf.nn.tanh,
   scope='conv_out')
  end_points['transferred_images'] = net
 return net, end_points

学习率设置既不能过大,也不能过小。TensorFlow提供了一种更加灵活的学习率设置方法——指数衰减法。该方法实现了指数衰减学习率,先使用较大的学习率来快速得到一个比较优的解,然后随着迭代的继续逐步减小学习率,使得模型在训练后期更加稳定,缓慢平滑得达到最优值。

我们希望获取第一个卷积层的权重weight,该怎么办呢??

tf.train.exponential_decay(learning_rate,
global_step, decay_steps, decay_rate,staircase=False, name=None)

在训练时,这些可训练的变量会被tensorflow保存在 tf.trainable_variables()
中,于是我们就可以通过打印 tf.trainable_variables()
来获取该卷积层的名称(或者你也可以自己根据scope来看出来该变量的name
),然后利用tf.get_default_grap().get_tensor_by_name 来获取该变量。

该函数会指数级减小学习率,实现每轮实际优化时的衰减后的学习率decayed_learning_rate
= learning_rate * decay_rate ^ (global_step
/decay_steps),learning_rate为设定的出事学习率,decay_rate为衰减系数,decay_steps为衰减速度。如下图,参数staircase=False时,学习率变化趋势为浅色部分;staircase=True时为深色部分,使得学习率变化为阶梯函数(staircase
function),这种设置的常用应用场景是每完整地过完一遍训练数据,学习率就减小一次。

举个简单的例子:

使用示例:learning_rate
=tf.train.exponential_decay(starter_learning_rate, global_step,
100000, 0.96,staircase=True)。

import tensorflow as tf
with tf.variable_scope("generate"):
 with tf.variable_scope("resnet_stack"):
  #简单起见,这里没有用第三方库来说明,
  bias = tf.Variable(0.0,name="bias")
  weight = tf.Variable(0.0,name="weight")

for tv in tf.trainable_variables():
 print (tv.name)

b = tf.get_default_graph().get_tensor_by_name("generate/resnet_stack/bias:0")
w = tf.get_default_graph().get_tensor_by_name("generate/resnet_stack/weight:0")

with tf.Session() as sess:
 tf.global_variables_initializer().run()
 print(sess.run(b))
 print(sess.run(w))

蒲京娱乐场网站 1

结果如下:

二、过拟合问题

蒲京娱乐场网站 2

  1. 过拟合问题及其解决方法

以上这篇tensorflow
获取变量&打印权值的实例讲解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

所谓过拟合问题,指的是当一个模型过于复杂后,它可以很好地记忆每一个训练数据中随机噪声的部分而忘记了要去学习训练数据中通用的趋势。

您可能感兴趣的文章:

为了避免过拟合问题,常用的方法是正则化(Regularization),思想是在损失函数中加入刻画模型复杂程度的指标,将优化目标定义为J(θ)+λR(w)
,其中R(w)刻画的是模型的复杂程度,包括了权重项w不包括偏置项b,λ表示模型复杂损失在总损失中的比例。一般来说模型复杂度只由权重w决定。常用的刻画模型复杂度的函数R(w)有两种,一种是L1正则化:

蒲京娱乐场网站 3

另一种是L2正则化:

蒲京娱乐场网站 4

无论哪种正则化方式,基本思想都是希望通过限制权重的大小,使得模型不能任意拟合训练数据中的随机噪音。区别:L1正则化会让参数变得更稀疏,L2则不会,所谓参数变得更稀疏是指会有更多的参数变为0,可达到类似特征选取的功能。实践中,也可以将L1正则化和L2正则化同时使用:

蒲京娱乐场网站 5

  1. 过拟合问题的TensorFlow解决方案