当前位置 博文首页 > pytorch MSELoss计算平均的实现方法

    pytorch MSELoss计算平均的实现方法

    作者:sunrise_ccx 时间:2021-06-07 18:29

    给定损失函数的输入y,pred,shape均为bxc。

    若设定loss_fn = torch.nn.MSELoss(reduction='mean'),最终的输出值其实是(y - pred)每个元素数字的平方之和除以(bxc),也就是在batch和特征维度上都取了平均。

    如果只想在batch上做平均,可以这样写:

    loss_fn = torch.nn.MSELoss(reduction='sum')
    loss = loss_fn(pred, y) / pred.size(0)

    补充:PyTorch中MSELoss的使用

    参数

    torch.nn.MSELoss(size_average=None, reduce=None, reduction: str = 'mean')

    size_average和reduce在当前版本的pytorch已经不建议使用了,只设置reduction就行了。

    reduction的可选参数有:'none' 、'mean' 、'sum'

    reduction='none':求所有对应位置的差的平方,返回的仍然是一个和原来形状一样的矩阵。

    reduction='mean':求所有对应位置差的平方的均值,返回的是一个标量。

    reduction='sum':求所有对应位置差的平方的和,返回的是一个标量。

    更多可查看官方文档​

    举例

    首先假设有三个数据样本分别经过神经网络运算,得到三个输出与其标签分别是:

    y_pre = torch.Tensor([[1, 2, 3],
                          [2, 1, 3],
                          [3, 1, 2]])
    
    y_label = torch.Tensor([[1, 0, 0],
                            [0, 1, 0],
                            [0, 0, 1]])
    

    如果reduction='none':

    criterion1 = nn.MSELoss(reduction='none')
    loss1 = criterion1(x, y)
    print(loss1)

    则输出:

    tensor([[0., 4., 9.],

    [4., 0., 9.],

    [9., 1., 1.]])

    如果reduction='mean':

    criterion2 = nn.MSELoss(reduction='mean')
    loss2 = criterion2(x, y)
    print(loss2)

    则输出:

    tensor(4.1111)

    如果reduction='sum':

    criterion3 = nn.MSELoss(reduction='sum')
    loss3 = criterion3(x, y)
    print(loss3)

    则输出:

    tensor(37.)

    在反向传播时的使用

    一般在反向传播时,都是先求loss,再使用loss.backward()求loss对每个参数 w_ij和b的偏导数(也可以理解为梯度)。

    这里要注意的是,只有标量才能执行backward()函数,因此在反向传播中reduction不能设为'none'。

    但具体设置为'sum'还是'mean'都是可以的。

    若设置为'sum',则有Loss=loss_1+loss_2+loss_3,表示总的Loss由每个实例的loss_i构成,在通过Loss求梯度时,将每个loss_i的梯度也都考虑进去了。

    若设置为'mean',则相比'sum'相当于Loss变成了Loss*(1/i),这在参数更新时影响不大,因为有学习率a的存在。

    以上为个人经验,希望能给大家一个参考,也希望大家多多支持站长博客。如有错误或未考虑完全的地方,望不吝赐教。

    js
    下一篇:没有了