数学之美5 - 隐含马尔可夫模型

Welcome to MyBlog!


1. 通信模型

1.1 简单的通信模型

1.2 通信 与 nlp 的关系

几乎所有的自然语言处理问题都可以等价成通信的解码问题。

1.3 如何解码

在通信中,如何根据接收端的观测信号01,02,03,…来推测信号源发出的信息s1,s2,s3…呢?只需要从所有的源信息中找到最可能产生出观测信号的那一个信息。

用概率论的语言来描述就是:

2.隐性马尔可夫模型

隐含马尔可夫模型并不是19世纪俄罗斯数学家马尔可夫发明的,而是在20世纪,由美国数学家 鲍姆等人发明的。隐含马尔可夫模型的训练方法(鲍姆-韦尔奇算法)也是以他的名字命名的。

要介绍隐含马尔可夫模型,首先还得介绍一下马尔可夫模型。马尔可夫模型的提出,一开始是为了简化统计语言模型的计算。

3. 隐含马尔可夫模型的训练