教育企业网站源码阿里大数据官网

一、目的

假设我们现在需要对猫、 狗、 人这三个类别进行分类。

若以 0 代表猫， 以 1 代表狗， 以 2 代表人，会发现那么猫和狗之间距离为 1， 狗和人之间距离为 1， 而猫和人之间距离为 2。
假设真实标签是猫（0），预测标签是人（2），loss值会比真实标签是狗（1）、预测标签是人（2）时的loss值大，这在参与损失计算的时候是完全不能接受的： 互相独立的标签之间， 在预测错误时竟然出现了 loss 不对等的情况。

因此， 需要有一种表示方法， 将互相独立的标签表示为互相独立的数字， 并且数字之间的距离也相等。此时就出现one-hot方法

二、用法

one-hot （独热编码）是一种向量表示，用来表示真实标签分布情况。向量中只有一个元素的值是 1， 其他所有元素都是 0。 也可以用相反的表示方式， 即向量中只有一个元素是 0， 其他所有元素都是 1。
下面是 one-hot 对类别进行编码的例子：

神经网络输出的值是样本属于某一分类的概率， 比如当前的例子， 某一个样本经过神经网络推理得到的输出值为有 70%的概率是猫， 20%的概率是狗， 10%的概率是人， 写成向量形式为[0.7 0.2 0.1]， 假设该样本的真实标签就是猫， 猫的 one-hot 向量为[1 0 0]，接下来就可以计算预测值与真实标签的损失。 假设使用均方误差作为损失函数，那么损失值为：

优化目标是让 loss 的值最小。 猫的得分是 0.7， 而真实得分是 1， 因此猫的得分概率还需要增大， 狗和人的得分概率需要减小， 计算完 loss 值后， 反向传播调整权重， 使猫的得分继续增大， 而狗和人的得分继续减小。