PRO会员通讯
深度置信网络由多层受限玻尔兹曼机(Restricted Boltzmann Machien)和一层反向传递(Back Propagation, BP)神经网络构成，其本质是一种特殊构造的神经网络。如图1所示，深度置信网络是一种由多层受限玻尔兹曼机组合而成的网络模型，低层受限玻尔兹曼机的输出，作为上一层受限玻尔兹曼机的输入，将最后一层受限玻尔兹曼机网络的输出信息作为BP神经网络的输入数据。不同于深度玻尔兹曼机(Deep Boltzmann Machine，详见词条“深度波尔兹曼机”)，深度置信网络的中间层与相邻层是单向连接的。
图1一个三层深度置信网络
深度置信网络的训练过程大致分为两步：
①读入数据文件，训练每一层受限玻尔兹曼机，将第一隐层(hidden layer)输出作为可见层(visible layer)的输入，再将可见层的输出作为下一隐层输入逐层进行训练，每一层单独训练可使特征向量能更多的保留特征信息在不同的特征空间(feature space)中。
②最后一层设置反向传递(BP)神经网络，接收受限玻尔兹曼机的输出作为BP网络的输入，通过自顶向下进行神经网络参数的更新，调整整个深度置信网络，使整个深度置信网络的准确率达到最优。
深度置信网络解决了传统反向传递(BP)算法训练多层神经网络的难题：①需要大量含标签训练样本集；②较慢的收敛速度；③因不合适的参数选择陷入局部最优。
[描述来源：Hinton, G. E., Osindero, S., & Teh, Y. W. (2006). A fast learning algorithm for deep belief nets. Neural computation, 18(7), 1527-1554.
URL：https://www.mitpressjournals.org/doi/abs/10.1162/neco.2006.18.7.1527]
发展历史
2006年，Hinton和他的学生提出了深度置信网络的思想。与传统区分型神经网络不同，深度置信网络可获取观测数据和标签的联合概率分布，这方便了先验概率和后验概率的估计，而区分型模型仅能对后验概率进行估计。深度置信网络解决了传统反向传递(BP)算法训练多层神经网络的难题：①需要大量含标签训练样 本集；②较慢的收敛速度；③因不合适的参数选择陷入局部最优。
2009年，Pham等人用频谱图训练深度置信网络，并将深度置信网络应用到一些音频分类任务中。
2010年，Mohamed等人提出用连续判别训练准则来优化深度置信网络的权值、状态变换参数及语言模型分数，描述并分析了提出的训练算法和策略，并讨论该算法如何影响学习结果，说明基于序列训练准则学习的深度置信网络的性能优于基于框架准则的深度置信网络，但是与此同时产生的优化过程更加困难。
2011年，Mohamed等人用梅尔频率倒谱系数和梅尔刻度滤波器训练深度置信网络产生高层受限玻尔兹曼机特征，用这个特征能够预测隐马尔科夫模型(Hidden Markov Models, HMMs)状态上的后验分布(Posterior Distribution)，用反向传递方法更新后，在TIMIT数据集上识别与说话者无关的音素得到的性能优于其他方法。
同年，Dahl等人提出一种依赖语境的“深度置信网络-隐马尔科夫模型(DBN-HMM)”，在来自Bing移动语音搜索任务的具有大型词汇的任意语音识别数据集上进行试验，得到的结果性能明显优于“高斯混合-隐马尔科夫模型(GMM-HMM)”。
主要事件
年份 | 事件 | 相关论文 |
2006 | Hinton和他的学生提出了深度置信网络的思想 | Hinton, G. E., Osindero, S., & Teh, Y. W. (2006). A fast learning algorithm for deep belief nets. Neural computation, 18(7), 1527-1554. |
2009 | Pham等人用频谱图训练深度置信网络 | Lee, H., Pham, P., Largman, Y., & Ng, A. Y. (2009). Unsupervised feature learning for audio classification using convolutional deep belief networks. In Advances in neural information processing systems (pp. 1096-1104). |
2010 | Mohamed等人提出用连续判别训练准则来优化深度置信网络 | Mohamed, A. R., Yu, D., & Deng, L. (2010). Investigation of full-sequence training of deep belief networks for speech recognition. In Eleventh Annual Conference of the International Speech Communication Association. |
2011 | Mohamed等人用梅尔频率倒谱系数和梅尔刻度滤波器训练深度置信网络 | Mohamed, A. R., Sainath, T. N., Dahl, G., Ramabhadran, B., Hinton, G. E., & Picheny, M. A. (2011, May). Deep belief networks using discriminative features for phone recognition. In Acoustics, Speech and Signal Processing (ICASSP), 2011 IEEE International Conference on (pp. 5060-5063). IEEE. |
2011 | Dahl等人提出一种依赖语境的“深度置信网络-隐马尔科夫模型(DBN-HMM)” | Dahl, G. E., Yu, D., Deng, L., & Acero, A. (2011, May). Large vocabulary continuous speech recognition with context-dependent DBN-HMMs. In Acoustics, Speech and Signal Processing (ICASSP), 2011 IEEE International Conference on(pp. 4688-4691). IEEE. |
发展分析
瓶颈
深度置信网络是拥有深层架构的前馈神经网络，由多个受限玻尔兹曼机堆叠而成，其中包含多个隐含层，而使用深度置信网络的障碍在于如何训练这样的深层网络。
未来发展方向
针对上述问题，学者和研究人员不断尝试新的算法去训练基于受限玻尔兹曼机的深度置信网络，目前比较热门的研究方向是借鉴其他领域的思想，将现有的社会网络、基因调控网络以及压缩传感等理论运用于深度置信网络中。
Contributor:Keyu Qi