Exercices corrigés — Probabilités (mesure) et théorème central limite

$P$ est une mesure (σ-additive) avec $P(\Omega)=1$.

$\Omega=A\sqcup A^c$ et additivité finie.

$A\subseteq B\Rightarrow B=A\sqcup(B\setminus A)$.

$(\Omega,\mathcal{A},P)$ est un espace probabilisé si $\mathcal{A}$ est une tribu et $P:\mathcal{A}\to[0,1]$ vérifie $P(\Omega)=1$ et la $\sigma$-additivité : $P\!\left(\bigsqcup_n A_n\right)=\sum_n P(A_n)$ pour des $A_n$ deux à deux disjoints. Avec $A_n=\varnothing$ (deux à deux disjoints) : $P(\varnothing)=\sum_n P(\varnothing)$ ; comme $P(\varnothing)\in[0,1]$ est fini, la seule valeur possible est $P(\varnothing)=0$. Comme $\Omega=A\sqcup A^c$ : $1=P(\Omega)=P(A)+P(A^c)$, d'où $P(A^c)=1-P(A)$. Monotonie : $A\subseteq B\Rightarrow B=A\sqcup(B\setminus A)$, donc $P(B)=P(A)+P(B\setminus A)\geq P(A)$ (et $0\leq P(A)\leq1$).

$P(\Omega)=\sum_{\omega=1}^6\tfrac16=1$ ✓ ; pour $A=\{$pair$\}=\{2,4,6\}$, $P(A)=\tfrac36=\tfrac12$ et $P(A^c)=\tfrac12=1-\tfrac12$ ✓ ; $\{2\}\subseteq A$ et $\tfrac16\leq\tfrac12$ ✓. La probabilité est une mesure de masse $1$ : on hérite de toute la théorie de la mesure (Lebesgue).

$X$ mesurable : $\{X\leq x\}\in\mathcal{A}$.

$P_X(B)=P(X^{-1}(B))$.

$\{X\leq a\}\subseteq\{X\leq b\}$ pour $a\leq b$.

Une v.a. réelle est $X:(\Omega,\mathcal{A})\to(\mathbb{R},\mathcal{B}(\mathbb{R}))$ mesurable : $X^{-1}(B)\in\mathcal{A}$ pour tout borélien $B$ (il suffit de $\{X\leq x\}\in\mathcal{A}$ pour tout $x$). Sa loi est la mesure image $P_X(B)=P(X^{-1}(B))=P(X\in B)$ : c'est une mesure de probabilité sur $(\mathbb{R},\mathcal{B})$ qui contient toute l'information probabiliste de $X$.

$F_X(x)=P(X\leq x)=P_X(]-\infty,x])$. Si $a\leq b$, $\{X\leq a\}\subseteq\{X\leq b\}$ donc $F_X(a)\leq F_X(b)$ (croissante). Par continuité de la mesure : $F_X(x)\to0$ quand $x\to-\infty$ ($\{X\leq x\}\downarrow\varnothing$) et $\to1$ quand $x\to+\infty$ ($\uparrow\Omega$) ; $F_X$ est continue à droite. Enfin $\{a<X\leq b\}=\{X\leq b\}\setminus\{X\leq a\}$ donne $P(a<X\leq b)=F_X(b)-F_X(a)$.

$E[X]=\sum_\omega X(\omega)P(\omega)$ en fini.

$E[\mathbf 1_A]=\sum_{\omega\in A}P(\omega)=P(A)$.

$E[X]=\tfrac16(1+\dots+6)$.

L'espérance est l'intégrale $E[X]=\int_\Omega X\,dP$ (au sens de Lebesgue, pour $P$ mesure de masse $1$) ; en fini $E[X]=\sum_\omega X(\omega)P(\omega)$. Comme l'intégrale, elle est linéaire : $E[aX+bY]=aE[X]+bE[Y]$ (sans aucune hypothèse d'indépendance). L'indicatrice donne $E[\mathbf 1_A]=\int\mathbf 1_A\,dP=P(A)$ : espérer une indicatrice, c'est mesurer (cf. Lebesgue B1).

$E[X]=\tfrac16(1+2+3+4+5+6)=\tfrac{21}6=\tfrac72$. Linéarité : $E[2X+3]=\sum_\omega(2\omega+3)\tfrac16=2\cdot\tfrac72+3=10=2E[X]+3$ ✓. Indicatrice : $E[\mathbf 1_{\{2,4,6\}}]=\tfrac36=\tfrac12=P(\{$pair$\})$ ✓.

$\mathrm{Var}(X)=E[(X-\mu)^2]=E[X^2]-\mu^2$.

$E[X^2]=\tfrac16\sum_{k=1}^6 k^2$.

Tchebychev : $P(|X-\mu|\geq k\sigma)\leq\tfrac1{k^2}$.

$E[X^2]=\tfrac16(1+4+9+16+25+36)=\tfrac{91}6$, donc $\mathrm{Var}(X)=\tfrac{91}6-\big(\tfrac72\big)^2=\tfrac{91}6-\tfrac{49}4=\tfrac{182-147}{12}=\tfrac{35}{12}$, $\sigma=\sqrt{35/12}\approx1{,}71$. Effet d'une transformation affine : $\mathrm{Var}(2X+5)=2^2\,\mathrm{Var}(X)=4\cdot\tfrac{35}{12}=\tfrac{35}3$ (le $+5$ ne change pas la dispersion).

$\boxed{P(|X-\mu|\geq k\sigma)\leq\dfrac1{k^2}}$ (équivalent : $P(|X-\mu|\geq a)\leq\tfrac{\mathrm{Var}(X)}{a^2}$). Inégalité universelle (toute v.a. de variance finie) : au plus $\tfrac1{k^2}$ de la masse est à plus de $k$ écarts-types de la moyenne. C'est l'outil qui démontre la loi faible des grands nombres (B5). (Vérifié sur le dé pour $k=\tfrac45,1,\tfrac32,2$.)

$\mathcal{B}(n,p)=$ somme de $n$ Bernoulli indépendantes.

Espérance additive ; variance additive si indépendance.

$\mathcal{P}(\lambda)$ : $E=\mathrm{Var}=\lambda$.

$\mathcal{B}(p)$ : $E=p$, $\mathrm{Var}=pq$ ($q=1-p$). $\mathcal{B}(n,p)$ : $np$, $npq$. $\mathcal{P}(\lambda)$ : $\lambda$, $\lambda$. $\mathcal{U}[0,1]$ : $\tfrac12$, $\tfrac1{12}$. $\mathcal{E}(\lambda)$ : $\tfrac1\lambda$, $\tfrac1{\lambda^2}$. $\mathcal{N}(\mu,\sigma^2)$ : $\mu$, $\sigma^2$. (Tous certifiés via les fonctions caractéristiques — lot C.)

$X\sim\mathcal{B}(n,p)$ s'écrit $X=\sum_{i=1}^n Y_i$ avec $Y_i\sim\mathcal{B}(p)$ indépendantes. Par linéarité $E[X]=\sum E[Y_i]=np$. Les $Y_i$ étant indépendantes, les variances s'ajoutent : $\mathrm{Var}(X)=\sum\mathrm{Var}(Y_i)=n\,pq=npq$. C'est exactement ce que confirme $\varphi_{\mathcal{B}(n,p)}=(q+pe^{it})^n=\big(\varphi_{\mathcal{B}(p)}\big)^n$ (C2).

$P(X\in B)=\int_B f\,d\lambda$, $f\geq0$.

$E[X]=\int x f(x)\,dx$, $E[X^2]=\int x^2 f$.

$F_X'=f$ p.p. (Radon-Nikodym par rapport à $\lambda$).

$X$ est à densité $f\geq0$ si $P(X\in B)=\int_B f\,d\lambda$ ; en particulier $\int_\mathbb{R}f\,d\lambda=P(X\in\mathbb{R})=1$. Pour $\mathcal{E}(\lambda)$ : $\int_0^{+\infty}\lambda e^{-\lambda x}\,dx=\big[-e^{-\lambda x}\big]_0^{+\infty}=1$ ✓. La densité est la dérivée de Radon-Nikodym $f=\tfrac{dP_X}{d\lambda}$ ; et $F_X(x)=\int_{-\infty}^x f$, donc $F_X'=f$ p.p.

$E[X]=\int_0^{+\infty}x\,\lambda e^{-\lambda x}\,dx=\tfrac1\lambda$ (IPP) ; $E[X^2]=\int_0^{+\infty}x^2\lambda e^{-\lambda x}\,dx=\tfrac2{\lambda^2}$, d'où $\mathrm{Var}(X)=\tfrac2{\lambda^2}-\tfrac1{\lambda^2}=\tfrac1{\lambda^2}$. Conforme au tableau A5 et à $\varphi_{\mathcal{E}(\lambda)}=\tfrac\lambda{\lambda-it}$ (C2). L'exponentielle est sans mémoire : $P(X>s+t\mid X>s)=P(X>t)$.

$A\perp B$ : $P(A\cap B)=P(A)P(B)$.

$X\perp Y$ : la loi jointe se factorise pour tous les boréliens.

$P(A)=\tfrac12$, $P(B)=\tfrac13$.

Deux événements sont indépendants si $P(A\cap B)=P(A)\,P(B)$. Deux v.a. $X,Y$ sont indépendantes ($X\perp Y$) si pour tous boréliens $B,C$ : $P(X\in B,\,Y\in C)=P(X\in B)\,P(Y\in C)$, c.-à-d. la loi jointe $P_{(X,Y)}$ est le produit $P_X\otimes P_Y$. C'est strictement plus fort que la décorrélation.

Espace produit $\Omega=\{1,\dots,6\}^2$, $P=\tfrac1{36}$ uniforme. $A=\{1\text{er pair}\}$ : $P(A)=\tfrac{18}{36}=\tfrac12$. $B=\{2\text{e}\leq2\}$ : $P(B)=\tfrac{12}{36}=\tfrac13$. $A\cap B=\{1\text{er pair \textbf{et} }2\text{e}\leq2\}$ : $3\times2=6$ issues, $P(A\cap B)=\tfrac6{36}=\tfrac16=\tfrac12\cdot\tfrac13$ ✓. Les deux dés n'interagissent pas : indépendance.

Factorisation de la loi jointe (Fubini) $\Rightarrow E[XY]=E[X]E[Y]$.

$\mathrm{Var}(X+Y)=\mathrm{Var}X+\mathrm{Var}Y+2\,\mathrm{Cov}(X,Y)$.

$\mathrm{Cov}(X,Y)=E[XY]-E[X]E[Y]=0$ si $\perp$.

Si $X\perp Y$, la loi jointe se factorise, donc par Fubini $E[XY]=\iint xy\,dP_X\,dP_Y=\big(\int x\,dP_X\big)\big(\int y\,dP_Y\big)=E[X]E[Y]$. En général $\mathrm{Var}(X+Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)+2\,\mathrm{Cov}(X,Y)$ ; or $\mathrm{Cov}(X,Y)=E[XY]-E[X]E[Y]=0$ sous indépendance, d'où $\boxed{\mathrm{Var}(X+Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)}$. (Les variances s'ajoutent — clé du facteur $\sqrt n$ du TCL.)

$E[X]=E[Y]=\tfrac72$, indépendants : $E[XY]=\tfrac72\cdot\tfrac72=\tfrac{49}4$ ✓ (calcul direct $\sum_{i,j}ij\tfrac1{36}=\tfrac{49}4$). $\mathrm{Var}(X)=\mathrm{Var}(Y)=\tfrac{35}{12}$, donc $\mathrm{Var}(X+Y)=\tfrac{35}{12}+\tfrac{35}{12}=\tfrac{35}6$ ✓ (et $E[X+Y]=7$).

$\rho=\tfrac{\mathrm{Cov}(X,Y)}{\sigma_X\sigma_Y}$, $|\rho|\leq1$ (Cauchy-Schwarz).

$Y=7-X$ est affine décroissante de $X$.

Prendre $Y=X^2$ avec $X$ symétrique.

$\mathrm{Cov}(X,Y)=E[(X-EX)(Y-EY)]=E[XY]-E[X]E[Y]$ ; le coefficient de corrélation $\rho(X,Y)=\tfrac{\mathrm{Cov}(X,Y)}{\sigma_X\sigma_Y}$ vérifie $|\rho|\leq1$ (Cauchy-Schwarz), avec $|\rho|=1$ ssi $Y$ est une fonction affine de $X$. Pour $Z=7-X$ : $\mathrm{Cov}(X,7-X)=-\mathrm{Var}(X)$ et $\sigma_Z=\sigma_X$, donc $\rho=\tfrac{-\mathrm{Var}(X)}{\sigma_X^2}=-1$ (anticorrélation parfaite, $Z$ affine décroissante de $X$).

Soit $X$ uniforme sur $\{-1,0,1\}$ et $Y=X^2$. Alors $E[XY]=E[X^3]=0=E[X]E[Y]$ (car $E[X]=0$) : $\mathrm{Cov}(X,Y)=0$, décorrélées. Pourtant $Y$ est fonction de $X$ (donc très dépendantes) : $P(Y=0\mid X=0)=1\neq P(Y=0)=\tfrac13$. La corrélation ne mesure que la dépendance linéaire : $\rho=0\not\Rightarrow$ indépendance (la réciproque ne vaut que pour les vecteurs gaussiens).

p.s. : $P(X_n\to X)=1$ ; proba : $P(|X_n-X|>\varepsilon)\to0$.

$L^2$ : $E[(X_n-X)^2]\to0$ ; loi : $F_{X_n}\to F_X$ aux points de continuité.

p.s. ou $L^2$ $\Rightarrow$ proba $\Rightarrow$ loi.

$X_n\to X$ presque sûrement si $P(\{\omega:X_n(\omega)\to X(\omega)\})=1$ ; en probabilité si $\forall\varepsilon,\ P(|X_n-X|>\varepsilon)\to0$ ; dans $L^2$ si $E[(X_n-X)^2]\to0$ ; en loi si $F_{X_n}(x)\to F_X(x)$ en tout point de continuité de $F_X$ (de façon équivalente $\varphi_{X_n}\to\varphi_X$, Lévy).

$\boxed{\text{p.s.}\Rightarrow\text{proba}\Rightarrow\text{loi}}$ et $\boxed{L^2\Rightarrow\text{proba}}$ (Markov : $P(|X_n-X|>\varepsilon)\leq\varepsilon^{-2}E[(X_n-X)^2]$). Les réciproques sont fausses (la convergence en loi vers une constante équivaut à celle en probabilité ; sinon « bosse glissante », cf. Lebesgue D6). La loi faible des grands nombres est une convergence en probabilité, la loi forte une convergence presque sûre ; le TCL est une convergence en loi (la plus faible — c'est la forme de la fluctuation qui converge, pas les valeurs).

$E[\overline{X}_n]=\mu$, $\mathrm{Var}(\overline{X}_n)=\tfrac{\sigma^2}n$.

Appliquer Tchebychev à $\overline{X}_n$.

$P(|\overline{X}_n-\mu|\geq\varepsilon)\leq\tfrac{\sigma^2}{n\varepsilon^2}$.

Par linéarité $E[\overline{X}_n]=\tfrac1n\sum E[X_i]=\mu$. Les $X_i$ étant indépendantes, les variances s'ajoutent : $\mathrm{Var}(\overline{X}_n)=\tfrac1{n^2}\sum\mathrm{Var}(X_i)=\tfrac{n\sigma^2}{n^2}=\tfrac{\sigma^2}n$. La dispersion de la moyenne décroît comme $\tfrac1n$.

Bienaymé-Tchebychev appliqué à $\overline{X}_n$ (moyenne $\mu$, variance $\tfrac{\sigma^2}n$) : $\boxed{P(|\overline{X}_n-\mu|\geq\varepsilon)\leq\dfrac{\sigma^2}{n\varepsilon^2}\xrightarrow[n\to\infty]{}0}$ pour tout $\varepsilon>0$. C'est la convergence en probabilité $\overline{X}_n\to\mu$ : la loi faible. Vitesse en $\tfrac1n$ sur la probabilité (grossière ; le TCL affine en $\tfrac1{\sqrt n}$ sur l'échelle des fluctuations). La loi forte (convergence p.s.) est plus profonde et admise (B6).

$\overline{X}_n\to\mu$ presque sûrement (si $E|X|<\infty$).

Monte-Carlo : $E[g(U)]\approx\tfrac1N\sum g(U_i)$.

Erreur $\sim\tfrac{\sigma}{\sqrt N}$ (TCL).

$\boxed{\textbf{LFGN (Kolmogorov, ADMIS).}\ X_i\ \text{i.i.d.},\ E|X|<\infty\Rightarrow\overline{X}_n\to E[X]\ \text{presque sûrement.}}$ Pour estimer $I=E[g(U)]=\int g$ : on tire $U_1,\dots,U_N$ i.i.d. et on pose $\widehat I_N=\tfrac1N\sum_i g(U_i)$ ; la loi forte garantit $\widehat I_N\to I$ p.s. Estimation de $\pi$ : tirer $(x,y)$ uniformes dans $[0,1]^2$ ; la proportion tombant dans le quart de disque $x^2+y^2<1$ tend vers son aire $\tfrac\pi4$, donc $4\times(\text{proportion})\to\pi$. (Vérifié sur instances, graine fixe : $\pi\approx3{,}1377$ pour $N=10^6$.)

L'erreur $\widehat I_N-I$ a un écart-type $\tfrac{\sigma}{\sqrt N}$ : la précision ne gagne qu'un facteur $10$ pour $100\times$ plus de tirages (lent, mais indépendant de la dimension — d'où l'usage en grande dimension). Le TCL précise la loi de cette erreur : $\sqrt N(\widehat I_N-I)\to\mathcal{N}(0,\sigma^2)$, ce qui donne des intervalles de confiance (E5). Vérifié : doubler... quadrupler $N$ divise l'écart-type par $2$ ($\propto\tfrac1{\sqrt N}$).

$X_i$ i.i.d., $E[X]=\mu$, $0<\mathrm{Var}(X)=\sigma^2<\infty$.

$S_n^\ast=\tfrac{S_n-n\mu}{\sigma\sqrt n}\to\mathcal{N}(0,1)$ en loi.

$\mathrm{Var}(S_n)=n\sigma^2$ donne l'échelle $\sqrt n$.

$\boxed{\textbf{TCL (ADMIS).}\ X_1,X_2,\dots\ \text{i.i.d.},\ \mu=E[X],\ \sigma^2=\mathrm{Var}(X)\in\,]0,\infty[\ \Rightarrow\ S_n^\ast=\dfrac{S_n-n\mu}{\sigma\sqrt n}\xrightarrow[n\to\infty]{\text{loi}}\mathcal{N}(0,1)}$ où $S_n=X_1+\dots+X_n$. Convergence en loi : $P(S_n^\ast\leq x)\to\Phi(x)$ pour tout $x$ ($\Phi$ = répartition de $\mathcal{N}(0,1)$). De façon équivalente $\sqrt n\,(\overline{X}_n-\mu)\to\mathcal{N}(0,\sigma^2)$.

$\mathrm{Var}(S_n)=n\sigma^2$ (variances additives), donc $\sigma(S_n)=\sigma\sqrt n$ : c'est la bonne échelle pour stabiliser la fluctuation (avec $n\mu$ pour centrer). Le fait remarquable : la loi limite est toujours $\mathcal{N}(0,1)$, quelle que soit la loi des $X_i$ (variance finie) — la cloche de Gauss est un attracteur universel. La preuve se fait par les fonctions caractéristiques ($\varphi_{S_n^\ast}\to e^{-t^2/2}$, lot C5) et le théorème de continuité de Lévy (ADMIS).

$\mathcal{B}(n,p)$ = somme de $n$ Bernoulli i.i.d.

Centrer-réduire : $Z=\tfrac{X-np}{\sqrt{npq}}$.

Correction $\pm\tfrac12$ pour une loi entière ; lire $\Phi$.

$\mathcal{B}(n,p)$ est une somme de $n$ Bernoulli i.i.d. : par le TCL, $\tfrac{X-np}{\sqrt{npq}}\to\mathcal{N}(0,1)$, soit $\mathcal{B}(n,p)\approx\mathcal{N}(np,npq)$ (de Moivre-Laplace). De même $\mathcal{P}(\lambda)\approx\mathcal{N}(\lambda,\lambda)$ pour $\lambda$ grand (somme de Poisson). Validité usuelle : $np\geq5$ et $nq\geq5$.

Ici $np=50$, $\sqrt{npq}=\sqrt{25}=5$. Correction de continuité (loi entière approchée par une densité) : $P(40\leq X\leq60)\approx P(39{,}5\leq Y\leq60{,}5)$ avec $Y\sim\mathcal{N}(50,25)$. Bornes réduites : $\tfrac{60{,}5-50}5=2{,}1$ et $\tfrac{39{,}5-50}5=-2{,}1$, d'où $\Phi(2{,}1)-\Phi(-2{,}1)=2\Phi(2{,}1)-1\approx2(0{,}9821)-1=0{,}9642$. Sans correction ($\pm2{,}0$) on aurait $2\Phi(2)-1\approx0{,}9545$ : la correction de continuité affine l'estimation d'une loi discrète.

$\sup_x|F_n-\Phi|\leq\tfrac{C\rho}{\sigma^3\sqrt n}$, $\rho=E|X-\mu|^3$.