统计学习的一些概念总结

  |   0 评论   |   239 浏览

生成模型与判别模型

监督学习的任务就是学习到一个模型,应用这一模型来对给定的输入预测相应的输出。模型的一般形式的为决策函数:

或者条件概率:

监督学习方法可以分为生成方法(generative approach)和判别方法(discriminative approach)。所学到的模型就是生成模型和判别模型。

生成方法

生成方法有数据学习联合概率分布,然后求条件概率分布作为预测模型。即生成模型:

这样称为生成方法,因为模型表示了给定输入X产生输出Y的生成关系。典型的生成模型有:朴素贝叶斯法和隐马尔可夫模型。

优点

  1. 学习收敛速度更快,当样本容量增加时,模型可以更快的收敛于真实的模型
  2. 当存在隐变量时,仍可以用生成方法学习,但此时无法用判别方法

判别方法

由数据直接学习决策函数或者条件概率分部作为预测模型,即判别模型。

判别方法关心的是对给定的输入X,应该预测什么样的输出Y。典型的判别模型:k近邻法、感知机、决策树、逻辑斯蒂回归模型、最大熵模型、支持向量机、提升方法和条件随机场等。

优点

  1. 直接学习得到条件概率或者决策函数,直接面对预测,往往准确率更高
  2. 可以对数据进行各种程度上的抽象、定义特征并使用特征,因此可以简化学习问题

评论

发表评论

validate