神经网络

神经网络算法涉及的知识点内容较多，需要深入专研，可参考：
http://max.book118.com/html/2016/0303/36785438.shtm

BP网络的四个学习过程：（δ规则）

1）模式顺传播，输入模式由输入层经中间层向输出层的“模式顺传播”过程

2）误差逆传播，网络的希望输出与网络实际输出之差的误差信号由输出层经中间层向输入层逐层修正连接权的“误差逆传播”过程

3）记忆训练，由“模式顺传播”与“误差逆传播”的反复交替进行的网络“记忆训练”过程

4）学习收敛，网络趋向收敛即网络的全局误差趋向极小值的“学习收敛”过程

协同过滤

是一种基于内容的推荐算法。

协同过滤的核心：
要实现协同过滤，需要进行如下几个步骤
1）收集用户偏好
2）找到相似的用户或者物品
3）计算并推荐

EM算法是含有隐变量的概率模型参数的极大似然估计法，或极大后验概率估计法。

训练数据只有输入没有对应的输出{(x1, ),(x2, ),…,(xn, )}，从这样的数据学习模型称为非监督学习问题。
EM算法可以用于生成模型的非监督学习。生成模型由联合概率分布P(X,Y)表示，可以认为非监督学习训练数据是联合概率分布产生的数据。X为观测数据，Y为未观测数据。

EM算法应用极其广泛，主要应用于含有隐变量的概率模型的学习。高斯混合模型的参数估计和隐马尔可夫模型的非监督学习均是EM算法的重要应用。

EM算法还可以解释为F函数的极大-极大算法。EM算法有许多变形，如GEM算法。GEM算法的特点是每次迭代增加F函数值（并不一定是极大化F函数），从而增加似然函数值。