请问AlexNet论文中的Local Response Normalization目前还在使用吗?

 原始的ImageNet Classification with Deep Convolutional Neural Networks论文,作者提到了Local Response Normalization这种归一化方式,并且按照作者的说法可以提高泛化能力。但是,现在的一些网络结构中没有这个归一化层,请问这是什么原因?这种归一化方式目前还有使用吗?谢谢~
已邀请:

Paper - CaffeCN社区Paper主题站管理员

赞同来自:

 
Local Response Normalization这种归一化方法目前基本上每人在使用了。
许多测试表明LRN的实际效果不佳,有些时候甚至不如不在网络中加入LRN,而且LRN的使用会耗掉一部分显存,这使得它比较鸡肋。
虽然LRN不被广泛使用了,但是归一化仍然是非常重要的方法,尤其是在提升网络泛化性能方面,归一化非常重要。
目前使用的最普遍的是batch normalization方法,把每个层归一化到0均值和单位方差。

要回复问题请先登录注册