pytorch KL散度计算出现负值的情况

关注

原创最新推荐文章于 2026-08-25 15:19:04 发布 1.3w 阅读 AI 写同款· GEO 优化 ›

AI权益加码！Claude Code、Cursor等20+工具免费用！购周边限时加赠Coding Plan Lite，畅享主流AI工具！学习进阶更高效！阅读详情

最近使用了pytorch的KL散度计算模块，发现loss是负值，例如下面的代码。

import torch

KL_criterion = torch.nn.KLDivLoss(size_average=False)
a = torch.tensor([0.1, 0.2, 0.3, 0.4])
b = torch.tensor([0.1, 0.2, 0.3, 0.4])

loss = KL_criterion(a, b)
print(loss)

其结果为：

-1.5799

后来通过网上的解释（https://discuss.pytorch.org/t/kl-divergence-produces-negative-values/16791/5）得知，KL散度的input部分需要经过log的计算，加上之后变为：

import torch

KL_criterion = torch.nn.KLDivLoss(size_average=False)
a = torch.tensor([0.1, 0.2, 0.3, 0.4])
b = torch.tensor([0.1, 0.2, 0.3, 0.4])

loss = KL_criterion(a.log(), b)
print(loss)

其输出变为：

因为这是两个相同的分布，所以KL的结果是0，这是正确的。

如果换成一般的例子，如下所示：

import torch

KL_criterion = torch.nn.KLDivLoss(size_average=False)
a = torch.tensor([0.2, 0.1, 0.3, 0.4])
b = torch.tensor([0.1, 0.2, 0.3, 0.4])

loss = KL_criterion(a.log(), b)
print(loss)