TensorFlow05.3 神经网络反向传播算法-多层感知机梯度(理论知识)

更新于：2023-06-19

首先这个是链式法则：如果扩展到多层感知机的话：我们在学这个的时候首先知道一个东西：所以这个整体的步骤就是：1.2.3.函数优化实战首先是这么一个函数：然后我们需要找他它的最小值，或者极值import numpy as npfrom mpl_toolkits.mplot3d import Axes3Dfrom matplotlib import pyplot as pltimport

首先这个是链式法则：

如果扩展到多层感知机的话：

我们在学这个的时候首先知道一个东西：

所以这个整体的步骤就是：
1.

2.

3.

函数优化实战

首先是这么一个函数：
然后我们需要找他它的最小值，或者极值

import  numpy as np
from    mpl_toolkits.mplot3d import Axes3D
from    matplotlib import pyplot as plt
import  tensorflow as tf



def himmelblau(x):
    # himmelblau函数实现
    return (x[0] ** 2 + x[1] - 11) ** 2 + (x[0] + x[1] ** 2 - 7) ** 2


x = np.arange(-6, 6, 0.1)
y = np.arange(-6, 6, 0.1)
print('x,y range:', x.shape, y.shape)
# 生成x-y平面采样网格点，方便可视化
X, Y = np.meshgrid(x, y)
print('X,Y maps:', X.shape, Y.shape)
Z = himmelblau([X, Y]) # 计算网格点上的函数值

# 绘制himmelblau函数曲面
fig = plt.figure('himmelblau')
ax = fig.gca(projection='3d')
ax.plot_surface(X, Y, Z)
ax.view_init(60, -30)
ax.set_xlabel('x')
ax.set_ylabel('y')
plt.show()

# 参数的初始化值对优化的影响不容忽视，可以通过尝试不同的初始化值，
# 检验函数优化的极小值情况
# [1., 0.], [-4, 0.], [4, 0.]
# x = tf.constant([4., 0.])
# x = tf.constant([1., 0.])
# x = tf.constant([-4., 0.])
x = tf.constant([-2., 2.])

for step in range(200):# 循环优化
    with tf.GradientTape() as tape: #梯度跟踪
        tape.watch([x]) # 记录梯度
        y = himmelblau(x) # 前向传播
    # 反向传播
    grads = tape.gradient(y, [x])[0] 
    # 更新参数,0.01为学习率
    x -= 0.01*grads
    # 打印优化的极小值
    if step % 20 == 19:
        print ('step {}: x = {}, f(x) = {}'
               .format(step, x.numpy(), y.numpy()))

我们运行之后，我们会发现，你一开始不同的点，会导致它走向不同的地方（四个点）。

TAGS：感知机 tensorflow05 理论知识神经网络梯度多层算法反向传播

上一篇：threejs 4纹理

下一篇：JavaCV的摄像头实战之八：人脸检测