On définit {h(x)=-x\ln x} pour {x\gt0} et {h(0)=0}, ce qui donne une fonction continue sur {\mathbb R_+}. Pour une variable aléatoire réelle discrète {X}, si la famille {(h(\mathbb P(X=x)))_{x\in X(\Omega)}} est sommable, son entropie est
{H(X)=\sum_{x\in X(\Omega)}h(\mathbb P(X=x))}Dans le cas contraire, on dit ici que {X} n’a pas d’entropie. Les questions [P] utilisent Python.
Dans la question 1, {X} prend ses valeurs dans un ensemble fini non vide {E=\{x_1,\ldots,x_n\}} ; on note {p_i=\mathbb P(X=x_i)}.
1. (a) [P] Écrire
entrop(p), recevant la liste des probabilités et renvoyant {(e,d)}, où {e=H(X)} et {d=e-\ln n}.1. (b) [P] Écrire
loibin(n,p) pour la loi binomiale et loiuni(n) pour la loi uniforme sur {\{0,\ldots,n\}}. Que donne entrop pour {\mathcal B(15,2/5)} et pour la loi uniforme sur {\{0,\ldots,15\}} ?1. (c) Montrer que {0\le H(X)\le\ln n} et caractériser les cas d’égalité.
2. Une urne contient une boule noire et une rouge. On tire une boule ; si elle est rouge, on s’arrête. Sinon, on la remet et on ajoute une noire, puis on recommence. Soit {X} le nombre de tirages, avec {X=0} si le jeu ne s’arrête pas. Déterminer sa loi. A-t-elle une espérance, une entropie ?
3. Montrer que
{p_n=\ln2\left(\frac1{\ln n}-\frac1{\ln(n+1)}\right),\quad n\ge2}définit une loi de probabilité. La variable correspondante a-t-elle une espérance, une entropie ?
{p_n=\ln2\left(\frac1{\ln n}-\frac1{\ln(n+1)}\right),\quad n\ge2}définit une loi de probabilité. La variable correspondante a-t-elle une espérance, une entropie ?
Soit maintenant {X} à valeurs dans {\mathbb N^*}, admettant une espérance. On note {p_n=\mathbb P(X=n)}.
4. (a) Montrer qu’il existe {n_0} tel que, pour {n\ge n_0} avec {p_n\gt0}, {|\ln p_n|\le1/\sqrt{p_n}}.
4. (b) En déduire que {X} a une entropie. Distinguer les cas {0\lt p_n\le n^{-3}}, {p_n\gt n^{-3}} et {p_n=0}.
Soient {0\lt p\lt1} et {X\sim\mathcal G(p)} sur {\mathbb N^*}. On note {p_n=p(1-p)^{n-1}}.
5. (a) Montrer que {X} possède une entropie et la calculer.
5. (b) Soit {Y} à valeurs dans {\mathbb N^*}, avec {q_n=\mathbb P(Y=n)\gt0} et {\mathbb E(Y)=\mathbb E(X)}. Montrer que {-\sum\limits_{n\ge1}q_n\ln p_n=H(X)}, puis que {H(Y)\le H(X)}.
5. (c) À quelle condition a-t-on {H(Y)=H(X)} ?