PRO会员通讯
在数学中，双曲函数是一类与常见的三角函数（也叫圆函数）类似的函数。双曲正切函数是双曲函数的一种，它也是双曲正弦函数（sinh）与双曲余弦函数（cosh）的商。双曲正切函数在数学语言上一般写作tanh，可用下式表示：
其函数图像如下所示：
在人工智能领域，tanh函数是一种常见的激活函数，取值范围为（-1，1），“在特征相差明显时的效果会很好，在循环过程中会不断扩大特征效果”。
[描述来源：wiki； URL：https://en.wikipedia.org/wiki/Activation_function & https://zh.wikipedia.org/wiki/%E5%8F%8C%E6%9B%B2%E5%87%BD%E6%95%B0]
[描述来源：百度百科；URL：https://baike.baidu.com/item/%E5%8F%8C%E6%9B%B2%E6%AD%A3%E5%88%87%E5%87%BD%E6%95%B0]
[https://feisky.xyz/machine-learning/neural-networks/active.html]
发展历史
在18世纪，约翰·海因里希·兰伯特引入双曲函数，并计算了双曲几何中双曲三角形的面积。奥古斯都·德·摩根在其1849年出版的教科书《Trigonometry and Double Algebra》中将圆三角学扩展到了双曲线。威廉·金顿·克利福德在1878年使用双曲角来参数化单位双曲线。
主要事件
| 年份 | 事件 | 相关论文/Reference |
| 1992 | Kalman, B. L., 和 Kwasny, S. C.主张采用tanh函数作为神经网络的激活函数 | Kalman, B. L., & Kwasny, S. C. (1992, June). Why tanh: choosing a sigmoidal function. In Neural Networks, 1992. IJCNN., International Joint Conference on (Vol. 4, pp. 578-581). IEEE. |
| 2011 | Karlik, B., 和 Olgac, A. V.用一个通用多层感知神经网络来对几种激活函数性能作比较，在这个实验中，tanh函数表现最佳 | Karlik, B., & Olgac, A. V. (2011). Performance analysis of various activation functions in generalized MLP architectures of neural networks. International Journal of Artificial Intelligence and Expert Systems, 1(4), 111-122. |
发展分析
瓶颈
相对于ReLU，由于幂运算的问题，tanh函数计算量较大，收敛速度慢。同时它也存在梯度消失的问题。
未来发展方向
n.a.
Contributor: Yueqin Li