“`” sigmoid、Tanh、ReLU的缺点在121问题中已有说明，为了解决ReLU的dead cell的情况，发明了Leaky Relu， 即在输入小于0时不让输出为0，而是乘以一个较小的系数，从而保证有导数存在。同样的目的，还有一个ELU，函数示意图如下。
<img alt=""img"" referrerpolicy=""no-referrer"" src=""https://julyedu-img-public.oss-cn-beijing.aliyuncs.com/Public/Image/Question/1512976776_132.jpg"">
还有一个激活函数是Maxout，即使用两套w,b参数，输出较大值。本质上Maxout可以看做Relu的泛化版本，因为如果一套w,b全都是0的话，那么就是普通的ReLU。Maxout可以克服Relu的缺点，但是参数数目翻倍。
<img alt=""img"" referrerpolicy=""no-referrer"" src=""https://julyedu-img-public.oss-cn-beijing.aliyuncs.com/Public/Image/Question/1512976811_634.png"">
<pre><code> "“`
Was this helpful?
0 /
0