熟悉算法--支持向量机(3) 核函数和松弛变量 有更新!

  |   0 评论   |   24 浏览

    • 核函数的定义和使用,将数据在低维计算后映射到高维空间,理论上可以对任意数据线性可分。
    • 松弛变量允许有个别数据偏离正常的分类范围,加入冗余,分类更稳定。

    kernel

    其实用直线分割的时候我们已经使用了kernel,那就是线性kernel,
    如果要替换kernel那么把目标函数里面的内积全部替换成新的kernel function就好了,就是这么简单。低维非线性的分界线其实在高维是可以线性分割的

    松弛变量 (slack variable )

    松弛变量允许错误的分类,但是要付出代价。图中以苹果为例,错误分类的苹果;在margin当中但是正确分类的苹果;正确分类并且在margin外面的苹果。可以看出每一个数据都有一一对应的惩罚。

    对于这一次整体的惩罚力度,要另外使用一个超参数 () 来衡量这一次分类的penalty程度。

    从新的目标函数里可见一斑[1]:


    参考1参考2

    评论

    发表评论

    validate