Введение в относительную энтропию (расхождение KL)

Относительная энтропия:

Относительная энтропия между двумя дискретными PMF: