TensorFlow05-3 神经网络损失函数(误差计算)

更新于:2023-06-18

▪ MSE▪ Cross Entropy Loss(针对分类问题)▪ Hinge Loss1 MSE一般这个N都会取一个banch。或者取到一个banch*类别个数b这里有三种求MSE的方法:loss1=tf.reduce_mean(tf.squaare(y-out))loss2=tf.squre(tf.norm(y-out))/(banch*类别个数b)loss3=tf.reduce_mean(

▪ MSE
▪ Cross Entropy Loss(针对分类问题)
▪ Hinge Loss
image

1 MSE

image
一般这个N都会取一个banch。或者取到一个banch*类别个数b

这里有三种求MSE的方法:

loss1=tf.reduce_mean(tf.squaare(y-out))
loss2=tf.squre(tf.norm(y-out))/(banch*类别个数b)
loss3=tf.reduce_mean(tf.losses.MSE(y,out))

image

2 Entropy(熵)

这是一个专门针对二分类求误差的
image
就是一个东西熵越小,信息量越大,也就是惊喜度最大
image
对于上面的例子[0.25,0.25,0.25,0.25]这四个求的值是很大的,因为没有什么惊喜度。
对于[0.01,0.01,0.01,0.97]这个惊喜度是最高的

3 Cross Entropy(交叉熵)

image
在这里H(p,q)=H(p)+DKL(p|q)
如果p==q的时候DKL=0,此时Minima:H(p|q)=H(p)
如果这个p是one-hot encoding的时候的话:
h(p:[0,1,0])=-log1=0
H([0,1,1],[p0,p1,p2])=0+DKL(p|q)=-l*log(qi)
q:prob(预测值),p:(真实值),loss=H(p,q),如果DKL(p|q)=0的此时loss最小,及此时p=q,此时误差最小

4 Binary Classification(二分类)

image

现在这两种都可以
single output:
当p:one-hot的时候,我们的loss=H(p,q)=0+DKL
这里的DKL=
image由于我们的这个是只有一个是1,剩下的全是0,所以这个loss=-1*log(qi),此时p=q的时候loss最小

4.1 Single output(单号输出节点)

image

image

4.2 Classification(多分类)

image

这里image

例如这两个例子:
image
Q1=[0.4,0.3,0.05,0.05,0.2]这个求的值为0.916,但是Q1=[0.98,0.01,0,0,0.01]的时候我们的H(p1,p2,p3,p4)=0.02,这个数值越接近于0越好。
我们在计算多分类问题的时候很简单:API

tf.losses.categorical_crossentropy([],[])
在这里前面的一个是真实值,后面的一个是预测值

image
我们看最后一个我们预测对了,且非常肯定的话,我们的这个值非常小。
image

Why not MSE?
image
这个sigmoid在一开始和后面的时候会出现梯度消失的情况。
我们看一个二分类问题,我们对于这个out,我们首先做softmax在做cross-entropy。但是这样会有一个数值不稳定的情况,所以我们在做的时候我们通常情况下把后面两个合并在一起。
image

所以我们调用的时候就调用这个:

tf.losses.categorical_crossentropy([],logits,from_logits=True)
[]这个里面必须是one-hot,logits就是out.

image
所以我们只需要进行上面一个函数就行,tf.losses.categorical_crossentropy([],out,from_logits=True)
然后我们就不需要softmax了,之间用上面的一个就行,防止数值不稳定

相关文档

推荐软件

网络调试专用工具GET/POST支持HTTPS 支持自定义请求头和POST数据
九戒网络助手

网络调试专用工具GET/POST支持HTTPS 支持自定义请求头和POST数据

直接下载

一键屏幕取色工具绿色版 网页取色建站必备神器
屏幕取色器

一键屏幕取色工具绿色版 网页取色建站必备神器

直接下载

高性能快速去除TXT文件中的重复文本行,支持两个文本合并后去重
TXT合并去重工具

高性能快速去除TXT文件中的重复文本行,支持两个文本合并后去重

直接下载

TDK一键采集网站标题/关键词/描述支持unicode解码
网站TDK采集器

TDK一键采集网站标题/关键词/描述支持unicode解码

直接下载

多线程批量扫描指定服务器开放了哪些端口
批量端口扫描工具

多线程批量扫描指定服务器开放了哪些端口

直接下载

一键批量采集关键词,长尾词,下拉词,相关搜搜词
关键词采集器 [相关/下拉/长尾]

一键批量采集关键词,长尾词,下拉词,相关搜搜词

直接下载

输入关键词批量搜索网站,支持导出为txt和excel表格,支持导出TDK
关键词网站域名采集器

输入关键词批量搜索网站,支持导出为txt和excel表格,支持导出TDK

直接下载

域名采集器,高速有效域名网址采集工具
域名采集器

域名采集器,高速有效域名网址采集工具

直接下载

站群推广利器SEO自动外链引蜘蛛工具
SEO自动外链工具

站群推广利器SEO自动外链引蜘蛛工具

直接下载

百度网盘批量分享工具,一键自动分享文件记录链接和密码
百度网盘批量分享

百度网盘批量分享工具,一键自动分享文件记录链接和密码

直接下载

网址访问状态检查,网站漏洞扫描文件目录扫描
网址批量验证器

网址访问状态检查,网站漏洞扫描文件目录扫描

直接下载

批量将网址中的占位符替换成URL编码的关键词,保存导出最终网址列表
网址关键词合并工具

批量将网址中的占位符替换成URL编码的关键词,保存导出最终网址列表

查看详情

网站统计平台广告引流工具CNZZ/51.LA/百度统计通用
网站统计平台广告引流

网站统计平台广告引流工具CNZZ/51.LA/百度统计通用

查看详情

Excel表格导入织梦文章,支持自定义模型和字段
Excel导入织梦系统

Excel表格导入织梦文章,支持自定义模型和字段

查看详情

txt文档批量导入织梦CMS文章工具
txt导入织梦文章

txt文档批量导入织梦CMS文章工具

查看详情

WORD文档带图片和格式发布到织梦CMS文章
WORD文档导入织梦

WORD文档带图片和格式发布到织梦CMS文章

查看详情

推荐专题