Probabilités (mesure) et théorème central limite

Espace probabilisé, variable aléatoire, lois des grands nombres et théorème central limite

Idée. Une expérience aléatoire se modélise par un espace probabilisé $(\Omega,\mathcal{A},P)$, où $P$ est une mesure de masse totale $1$ (axiomes de Kolmogorov). Une variable aléatoire $X$ est une fonction mesurable sur $\Omega$ ; son espérance est l'intégrale $E[X]=\int_\Omega X\,dP$. Deux théorèmes gouvernent la moyenne $\overline{X}_n=\tfrac1n\sum_{i=1}^n X_i$ d'un grand nombre de tirages indépendants de même loi : la loi des grands nombres ($\overline{X}_n\to E[X]$) et le théorème central limite — les fluctuations $\sqrt n\,(\overline{X}_n-E[X])$ sont gaussiennes, quelle que soit la loi de départ (pourvu que la variance soit finie). C'est l'omniprésence de la loi normale.

Note (L2/L3, périmètre de vérification). Une partie du chapitre est certifiée machine (_verif_tcl.py) : tout l'espace probabilisé fini ($E[X]=\sum_\omega X(\omega)P(\omega)$, linéarité, variance, indépendance $P(A\cap B)=P(A)P(B)$, $E[XY]=E[X]E[Y]$ et $\mathrm{Var}(X+Y)=\mathrm{Var}\,X+\mathrm{Var}\,Y$ pour $X\perp Y$), les fonctions caractéristiques des lois usuelles et la convergence $\varphi_X(t/\sqrt n)^n\to e^{-t^2/2}$ (cœur de la preuve du TCL). D'autres faits sont vérifiés sur instances (Monte-Carlo à graine fixe : loi des grands nombres, estimation de $\pi$, distance de Kolmogorov-Smirnov des sommes $\to\Phi$). Les grands théorèmes à objets infinis (preuve complète du TCL via le théorème de continuité de Lévy, loi forte des grands nombres, existence de suites i.i.d., constante optimale de Berry-Esseen) sont admis et signalés « ADMIS » dans les exercices (honnêteté du périmètre).

A. Espace probabilisé et variable aléatoire

• Espace probabilisé $(\Omega,\mathcal{A},P)$ : $\mathcal{A}$ est une tribu sur $\Omega$ et $P:\mathcal{A}\to[0,1]$ une mesure vérifiant $P(\Omega)=1$ et la $\sigma$-additivité $P\!\left(\bigsqcup_n A_n\right)=\sum_n P(A_n)$ (événements incompatibles). D'où $P(\varnothing)=0$, $P(A^c)=1-P(A)$, la monotonie et la sous-additivité $P(\bigcup_n A_n)\leq\sum_n P(A_n)$.
• Une variable aléatoire (v.a.) réelle est une fonction mesurable $X:(\Omega,\mathcal{A})\to(\mathbb{R},\mathcal{B}(\mathbb{R}))$ : $\{X\leq x\}=X^{-1}(]-\infty,x])\in\mathcal{A}$. Sa loi $P_X$ est la mesure image $P_X(B)=P(X^{-1}(B))$ : une mesure de probabilité sur $\mathbb{R}$ qui résume tout le comportement de $X$.
• Espérance : $E[X]=\int_\Omega X\,dP=\int_\mathbb{R}x\,dP_X(x)$ (transfert). Elle est linéaire ($E[aX+bY]=aE[X]+bE[Y]$, toujours, même sans indépendance) et $E[\mathbf 1_A]=P(A)$. Variance : $\mathrm{Var}(X)=E[(X-E[X])^2]=E[X^2]-E[X]^2\geq0$, écart-type $\sigma(X)=\sqrt{\mathrm{Var}(X)}$, et $\mathrm{Var}(aX+b)=a^2\mathrm{Var}(X)$.
• Fonction de répartition $F_X(x)=P(X\leq x)$ : croissante, continue à droite, de limites $0$ et $1$. Une v.a. est à densité $f\geq0$ si $P(X\in B)=\int_B f\,d\lambda$ (avec $\int_\mathbb{R}f=1$) ; alors $F_X'=f$ p.p. et $E[g(X)]=\int g\,f\,d\lambda$.
• Lois usuelles (espérance/variance, certifiées via $\varphi$ — cf. approfondissement) : Bernoulli $\mathcal{B}(p)$ : $E=p,\ \mathrm{Var}=pq$ ; binomiale $\mathcal{B}(n,p)$ : $np,\ npq$ ; Poisson $\mathcal{P}(\lambda)$ : $\lambda,\ \lambda$ ; uniforme $\mathcal{U}[0,1]$ : $\tfrac12,\ \tfrac1{12}$ ; exponentielle $\mathcal{E}(\lambda)$ : $\tfrac1\lambda,\ \tfrac1{\lambda^2}$ ; normale $\mathcal{N}(\mu,\sigma^2)$ : $\mu,\ \sigma^2$.

B. Indépendance et lois des grands nombres

• Indépendance : deux événements vérifient $P(A\cap B)=P(A)\,P(B)$ ; deux v.a. sont indépendantes ($X\perp Y$) si $P(X\in B,\,Y\in C)=P(X\in B)\,P(Y\in C)$ (la loi jointe se factorise). Conséquences : $E[XY]=E[X]E[Y]$, donc $\mathrm{Cov}(X,Y)=E[XY]-E[X]E[Y]=0$ et $\boxed{\mathrm{Var}(X+Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)}$.
• Covariance / corrélation : $\mathrm{Cov}(X,Y)=E[(X-E X)(Y-E Y)]$, $\rho(X,Y)=\tfrac{\mathrm{Cov}(X,Y)}{\sigma_X\sigma_Y}\in[-1,1]$ (Cauchy-Schwarz). ⚠️ Indépendantes $\Rightarrow$ décorrélées, mais la réciproque est fausse : $\rho=0$ n'entraîne pas l'indépendance.
• Loi FAIBLE des grands nombres (provable par Tchebychev) : si les $X_i$ sont i.i.d. de variance $\sigma^2<\infty$, alors $\overline{X}_n\to E[X]$ en probabilité : $P(|\overline{X}_n-\mu|\geq\varepsilon)\leq\tfrac{\sigma^2}{n\varepsilon^2}\to0$.
• Loi FORTE des grands nombres (Kolmogorov, ADMIS) : sous les mêmes hypothèses (même $E|X|<\infty$ suffit), $\overline{X}_n\to E[X]$ presque sûrement. C'est la justification de la simulation de Monte-Carlo (moyenne empirique $\to$ espérance).

E. Théorème central limite

• Autrement dit $\sqrt n\,(\overline{X}_n-\mu)\to\mathcal{N}(0,\sigma^2)$ : les fluctuations de la moyenne décroissent en $\tfrac1{\sqrt n}$ et sont gaussiennes, indépendamment de la loi de départ (variance finie). La preuve passe par les fonctions caractéristiques (approfondissement) : $\varphi_{S_n^\ast}(t)\to e^{-t^2/2}$, conclusion via le théorème de continuité de Lévy (ADMIS).
• Approximation normale : $\mathcal{B}(n,p)\approx\mathcal{N}(np,npq)$ (de Moivre-Laplace) et $\mathcal{P}(\lambda)\approx\mathcal{N}(\lambda,\lambda)$ pour $n$ (resp. $\lambda$) grand — avec correction de continuité $\pm\tfrac12$ pour une loi entière.
• Vitesse (Berry-Esseen, ADMIS) : $\sup_x|F_{S_n^\ast}(x)-\Phi(x)|\leq\dfrac{C\,\rho}{\sigma^3\sqrt n}$ avec $\rho=E|X-\mu|^3$ ($C\leq0{,}4748$) : l'erreur d'approximation est en $\tfrac1{\sqrt n}$.