题引入
常用到的除了sigmoid函数之外,还有一个即tanh函数,它的出现又是由于什么原因或者说能解决什么问题呢?
问题解答
tanh的表达式如下:
如果我们写成sigmoid函数的形式,则如下所示:
看下tanh的函数和导数图像
tanh函数的优缺点:
优点:
部分解决了sigmoid关于zero-centered的输出问题。导数范围变大在(0,1)之间,而sigmoid在 (0,0.25)之间,梯度消失问题有所缓解。
缺点:
•幂运算,计算成本高 •梯度消失问题
参考
https://blog.csdn.net/EngineerHe/article/details/100126694 https://www.cnblogs.com/missidiot/p/9378079.html
https://www.jianshu.com/p/857d5859d2cc
喜欢就关注一下啦~~~