弱弱网

手机浏览器扫描二维码访问

第638章（第2页）

但这里还有一个问题，在训练过程中，当实际输出值和期望输出值产生差异的时候，要如何去调整各个参数呢？

当然，在思考怎么做之前，也应该先弄清楚：通过调整参数的方式获得期望的输出，这个方法行得通吗？

实际上，对于感知器网络来说，这个方法基本不可行。

比如在上图有39个参数的感知器网络中，如果维持输入不变，我们改变某个参数的值，那么最终的输出基本完全不可预测。

它或者从0变到1（或从1变到0），当然也可能维持不变。这个问题的关键在于：输入和输出都是二进制的，只能是0或者1。

如果把整个网络看成一个函数（有输入，有输出），那么这个函数不是连续的。

因此，为了让训练成为可能，我们需要一个输入和输出能够在实数上保持连续的神经网络。于是，这就出现了sigmoid神经元。

sigmoid神经元(sigmoid neuron)是现代神经网络经常使用的基本结构（当然不是唯一的结构）。它与感知器的结构类似，但有两个重要的区别。

第一，它的输入不再限制为0和1，而可以是任意0~1之间的实数。

第二，它的输出也不再限制为0和1，而是将各个输入的加权求和再加上偏置参数，经过一个称为sigmoid函数的计算作为输出。

具体来说，假设z=w1x1+w2x2+w3x3+...+b，那么输出output=σ(z)，其中：σ(z)= 1/(1+ez)。

σ(z)是一个平滑、连续的函数。而且，它的输出也是0~1之间的实数，这个输出值可以直接作为下一层神经元的输入，保持在0~1之间。

可以想象，在采用sigmoid神经元组装神经网络之后，网络的输入和输出都变为连续的了，也就是说，当我们对某个参数的值进行微小的改变的时候，它的输出也只是产生微小的改变。这样就使得逐步调整参数值的训练成为可能。

在历史上，很多研究人员曾经也做过尝试，michael nielsen的书《neural networks and deep learning》这本书中也曾经提到过这个例子。

这个神经网络只有一层隐藏层，属于浅层的神经网络(shallow neural networks)。而真正的深度神经网络(deep nerual networks)，那么就会有多层隐藏层。

神经元系统采用了左右脑半球的设计方式进行设计和制造。

最右侧则是输出层(output layer)，有10个神经元节点，分别代表识别结果是0，1，2，...，9。当然，受sigmoid函数σ(z)的限制，每个输出也肯定是0~1之间的数。

那我们得到一组输出值之后，哪个输出的值最大，最终的识别结果就是它。

而在训练的时候，输出的形式则是：正确的那个数字输出为1，其它输出为0，隐藏层和输出层之间也是全连接。

神经网络共的权重参数有784*15+15*10=11910个，偏置参数有15+10=25个，总共参数个数为：11910+25=11935个。

这是一个非常惊人的数字。

相邻推荐：开门，社区送温暖  开局签到汤臣一品  我成了反派配角  似爱  溃不成婚  高冷宝宝：薄情叶少，战斗吧！  重生之最强投资  仙贤  精灵之最强道馆训练家  清穿之说情说意  我真的没想当大侠啊  替身的我和白月光互穿了  极品修真宅男  科技最狂潮  良辰好景·老婆，离婚无效！  我抢了999种异能  万域天尊  朕分分钟弄死你们  暴躁庶女专治各种不服  算什么男人  我有超级黑科技帝国  我的超级黑科技帝国 免费  我的超级黑科技帝国 免费听  超级黑科技帝国霸主  我的超级黑科技帝国3Q读书网  我的超级黑科技帝国TXT精校  我的超级黑科技帝国免费阅读  我的超级黑科技帝国叶凡免费阅读  我的超科技黑客帝国  我的超级黑科技帝国TXT  我的超级黑科技帝国笔趣阁  我的超级黑科技帝国 萌主天下无敌  我的超级黑科技系统  我的超级黑科技帝国123  我的超级黑科技帝国 - 最新章节抢先读正版  我的超级黑科技帝国萌主天下无敌TXT  我的超级黑科技帝国txt八零  我的黑科技帝国免费