softmax & hierarchical softmax

  |   0 评论   |   254 浏览

    先盗一图

    25bc8ffcdc3a46b5ba07e284e9960326-image.png

    总体来说,定义很明确:

    假设我们有一个数组,V,Vi表示V中的第i个元素,那么这个元素的Softmax值就是

    也就是说,是该元素的指数,与所有元素指数和的比值

    为什要有softmax?

    我们知道max,假如说我有两个数,a和b,并且a>b,如果取max,那么就直接取a,没有第二种可能

    但有的时候我不想这样,因为这样会造成分值小的那个一直取不到。所以我希望分值大的那一项经常取到,分值小的那一项也偶尔可以取到,那么我用softmax就可以了 现在还是a和b,a>b,如果我们取按照softmax来计算取a和b的概率,那a的softmax值大于b的,所以a会经常取到,而b也会偶尔取到,概率跟它们本来的大小有关。所以说不是max,而是 Soft max

    把max的0-1 问题转变为概率问题

    评论

    发表评论

    validate