URL details: txshi-mt.com/2018/11/17/NMT-Tutorial-3c-Neural-Networks-Initialization/
URL title:
NMT Tutorial 3扩展c. 神经网络的初始化 | Tingxun's Blog
URL description:
深度学习中，在具体网络结构之上，有三种应用广泛而且比较微妙的技术，分别是 初始化，即如何恰当地初始化网络参数。不恰当的初始化方法甚至会使网络无法被训练，而好的初始化方法可以缩短网络训练的时间 优化，即如何让参数更新，最后达到最优解。这部分内容实际上并非深度学习所特有，各个优化器可以应用在其它基于梯度的机器学习模型上，例如线性回归、逻辑回归等等。因此这部分放在了深度学习部分之前介绍：优化方法 泛化
URL keywords:
深度学习, 初始化, Xavier初始化, He初始化
URL last crawled:
2022-06-23
URL speed:
0.949 MB/s,
downloaded in 0.050 seconds
We found no external links pointing to this url.