Entropia różniczkowa

Różnica entropia jest pojęciem teorii informacji , która rozszerza pojęcie entropii Shannona do rozkładów prawdopodobieństwa trwa.

Definicja

Dla zmiennej losowej X o rozkładzie prawdopodobieństwa f i zdefiniowanej na zbiorze, definiujemy entropię różniczkową h (x) przez:

Entropia różniczkowa dla kilku rozkładów

Tablica entropii różniczkowej.
Dystrybucja Funkcja rozkładu prawdopodobieństwa Entropia
Ciągłe jednolite prawo dla
Normalne prawo
Prawo wykładnicze
Prawo Cauchy'ego
Prawo χ²

Rozkład gamma
Prawo logistyczne
Statystyka Maxwella-Boltzmanna
Dystrybucja Pareto
Prawo studenta
Rozkład Weibulla
Wielowymiarowe prawo normalne
<img src="https://fr.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="" width="1" height="1" style="border: none; position: absolute;">