Minimum d'une quadratique
Trouver et classer les extrema de
Indices (3)
Points critiques :
Hessienne
Calculer
Correction détaillée
Chercher un extremum d'une fonction de deux variables, c'est répondre à deux questions successives, et il ne faut jamais les mélanger.
- Où ? — Un extremum intérieur ne peut se produire que là où la fonction est plate : le gradient s'annule. Cela donne une liste de candidats, appelés points critiques.
- Quoi ? — Être plat ne suffit pas : le sommet d'une colline, le fond d'une cuvette et le milieu d'une selle de cheval sont tous les trois plats. C'est la hessienne, c'est-à-dire les dérivées secondes, qui départage.
Ici la fonction est une simple quadratique, donc le calcul sera court — mais la démarche est exactement celle qu'on refera sur des exemples autrement plus coriaces.
On dérive par rapport à chaque variable, l'autre étant tenue pour une constante :
Le gradient
Ici le système est découplé — chaque équation ne contient qu'une variable — d'où un unique point critique
Valeur en ce point :
On calcule les trois dérivées secondes, traditionnellement notées
et on forme le discriminant
La règle, qu'il faut savoir réciter :
| conclusion | ||
|---|---|---|
| minimum local | ||
| maximum local | ||
| — | point col (ni l'un ni l'autre) | |
| — | test muet : il faut autre chose |
Ici
Ce tableau n'est pas une recette arbitraire. Au voisinage d'un point critique,
La question « minimum ou pas » devient donc : cette forme quadratique en
: les deux valeurs propres ont le même signe, et dit lequel — la surface est courbée pareillement dans toutes les directions. : elles sont de signes opposés — ça monte dans une direction, ça descend dans l'autre : c'est une selle.
Ici
Le test de la hessienne ne dit rien au-delà du voisinage du point. Pour conclure globalement, il faut un argument d'une autre nature — ici, la mise sous forme canonique :
Somme de deux carrés :
Cette écriture révèle aussi la géométrie : les lignes de niveau
Un extremum se vérifie toujours en testant des points autour :
| point | |
|---|---|
Tout ce qui l'entoure est strictement plus grand. Réponse : minimum global
scipy.optimize.minimize donne argmin Point col
Montrer que
Indices (3)
Correction détaillée
Un point col — on dit aussi point selle — est le cas où le test de la hessienne répond « ni minimum, ni maximum ». Le nom vient de la selle de cheval : en s'asseyant dessus, on est au point le plus bas dans le sens tête-queue, et au point le plus haut dans le sens des jambes.
La fonction
Discriminant strictement négatif : c'est un point col. Noter qu'on n'a même pas eu à regarder le signe de
Le test est commode, mais il vaut mieux savoir montrer le col à la main, parce que cet argument-là survivra quand le test sera muet (exercice A6).
On restreint
- le long de l'axe des
(on pose ) : , avec égalité seulement en . Sur cette droite, l'origine est un minimum. - le long de l'axe des
(on pose ) : , avec égalité seulement en . Sur cette droite, l'origine est un maximum.
Conclusion : dans tout disque centré en
Prenons un disque de rayon
| point | |
|---|---|
Des valeurs des deux côtés de
Les lignes de niveau de
: deux branches ouvertes vers la gauche et la droite ; : deux branches ouvertes vers le haut et le bas ; : les deux droites et , qui se croisent précisément à l'origine.
Ce croisement de deux lignes de niveau est la signature visuelle d'un col — là où, autour d'un extremum, on verrait des courbes fermées emboîtées (les cercles de l'exercice A1).
Réponse :
Min local et col
Déterminer et classer les points critiques de
Indices (3)
Correction détaillée
Premier exemple avec plusieurs points critiques, et c'est là que la démarche prend son sens : on liste tous les candidats, puis on les classe un par un. Ne jamais classer avant d'avoir fini la liste — on manquerait un point.
La structure de
Le système est encore découplé :
Attention au piège le plus fréquent du chapitre :
Deux points critiques :
Nouveauté importante :
- En
: et minimum local, de valeur . - En
: point col, de valeur .
Pour se convaincre du col en
- Direction
( fixé) : , minimale en . Ça monte quand on s'écarte. - Direction
( fixé) : , avec . En , : c'est un maximum de . Ça descend quand on s'écarte.
Monte dans un sens, descend dans l'autre : col confirmé, sans recourir au tableau.
On teste autour de chaque candidat, à distance
| autour de |
autour de |
|||
|---|---|---|---|---|
Autour de
Le minimum en
par exemple
C'est une différence de fond avec A1, où la forme canonique donnait le global gratuitement. Ici le terme
Réponse :
Système cubique
Trouver et classer les points critiques de
Indices (3)
Correction détaillée
Cette fois le système des points critiques est couplé : chaque équation contient les deux variables. C'est le cas général, et la technique à retenir est celle de la substitution — on tire une variable d'une équation, on la reporte dans l'autre.
Remarque utile avant de calculer :
En divisant par
Substitution — on reporte
On factorise au lieu de diviser par
: point . : point .
Deux points critiques, tous deux sur la diagonale — cohérent avec la symétrie annoncée.
Ici les trois coefficients comptent :
- En
: point col, . - En
: et minimum local, .
Comme
- sur
: . Près de , le facteur vaut environ , donc : ça descend. Par exemple . - sur
: : ça monte. Par exemple .
Des valeurs des deux signes aussi près qu'on veut de l'origine : col confirmé.
Leçon générale : quand une direction ne tranche pas, en essayer une autre — le col est une propriété de la surface, pas des axes.
| point | |
|---|---|
Tous strictement supérieurs à
Comme en A3, le minimum n'est que local : sur la diagonale,
par exemple
Réponse :
scipy confirme le minimum local en Deux minima globaux
Étudier les extrema de
Indices (3)
Correction détaillée
Trois nouveautés par rapport aux exercices précédents, et chacune vaut la peine d'être notée :
- le système critique se résout par une élévation de puissance plutôt que par substitution directe ;
- il y a deux minima distincts de même valeur — un minimum global n'est pas forcément atteint en un seul point ;
- cette fois, contrairement à A3 et A4, on pourra conclure au global, parce que les puissances quatrièmes dominent le terme croisé à l'infini.
En divisant par
On reporte la première dans la seconde :
Encore une fois on factorise plutôt que de diviser. Sur les réels,
: point ; : point ; : point .
Trois points critiques.
: point col, . : , minimum local, . : , minimum local, .
Les deux minima ont exactement la même valeur
Comme en A4, on prend la diagonale et l'antidiagonale :
- sur
: . Près de , donc . Exemple : . - sur
: . Exemple : .
Des deux signes arbitrairement près de l'origine : col.
| point | point | |||
|---|---|---|---|---|
Tout ce qui entoure les deux points est strictement plus grand que
Contrairement à A3 et A4, on peut ici conclure globalement, et il faut deux arguments enchaînés.
(a)
Or
(b) La borne
Le minimum
Réponse : minimum global
scipy atteint Cas douteux du test
Pour
Indices (3)
Calculer la Hessienne en
Quand le test échoue, raisonner directement sur le signe de
Correction détaillée
Le test
L'exercice sert à ancrer deux réflexes :
- reconnaître qu'on est dans ce cas et ne pas conclure ;
- savoir passer à un argument direct, qui est souvent plus simple que le test lui-même.
Les dérivées secondes :
En
Le test est non concluant. Il faut s'arrêter là et changer d'outil.
Rappelons ce que fait vraiment le test : il approche
Le test regarde donc un terme qui n'existe pas, et ne peut évidemment rien en dire. C'est la même chose qu'en une variable avec
Point capital :
Pas besoin d'artillerie : une puissance paire est toujours positive ou nulle.
Donc
Est-il strict ? Oui :
L'argument direct est plus court que le test — et il donne davantage : il conclut au global et au strict, là où le test ne parle jamais que du local.
| point | |
|---|---|
Toujours
La marche à suivre quand
- chercher une minoration ou une majoration évidente (somme de carrés, de puissances paires…) ;
- sinon, restreindre à des droites ou à des courbes bien choisies, comme aux exercices A2, A4 et A5, pour exhiber des valeurs des deux côtés ;
- en dernier recours, pousser le développement limité à l'ordre suivant.
Réponse :
Rectangle d'aire maximale
Parmi les rectangles de périmètre
Indices (3)
Correction détaillée
Jusqu'ici on cherchait un extremum libre : le point pouvait se promener partout. Ici il est assigné à résidence sur la droite
La méthode de Lagrange repose sur une observation géométrique simple. Déplaçons-nous le long de la contrainte : tant que la ligne de niveau de
Or « effleurer », en termes de gradients, s'écrit :
Le nombre
Un rectangle de côtés
et pour aire
Attention à ne pas confondre les deux fonctions :
Le système
Les deux premières donnent immédiatement
Le rectangle optimal est le carré de côté
Le système de Lagrange ne fournit que des candidats ; il ne dit pas s'ils sont maximum ou minimum. Ici le plus simple est d'éliminer la contrainte :
Cette substitution est toujours possible pour une contrainte linéaire, et elle est souvent plus rapide que Lagrange. La méthode de Lagrange prend son intérêt quand la contrainte ne se résout pas facilement — voir B3 et B4, où elle est incontournable.
On teste des rectangles de périmètre
| aire |
||
|---|---|---|
Le maximum est net en
Le multiplicateur n'est pas un déchet de calcul : il mesure la sensibilité de l'optimum à la contrainte. Si le périmètre passe de
Par rapport à la contrainte
C'est pour cette raison qu'en économie
Réponse : le carré
Point d'une droite le plus proche de O
Trouver le point de la droite
Indices (3)
Minimiser le carré de la distance évite la racine.
Reporter dans la contrainte.
Correction détaillée
Chercher le point d'une droite le plus proche de l'origine, c'est chercher le pied de la perpendiculaire — un fait de géométrie de collège. L'intérêt de l'exercice est de voir la méthode de Lagrange retrouver ce résultat, ce qui est la meilleure façon de lui faire confiance ensuite, quand la géométrie ne sera plus visible.
Une précaution d'écriture, à prendre systématiquement : on minimise le carré de la distance,
et non
Contrainte :
Les deux premières équations donnent
La distance cherchée est
Ici encore, le minimum n'est pas garanti par le système. Deux façons de conclure, à connaître toutes les deux :
Par substitution.
C'est une parabole de coefficient dominant
Par l'infini. Sur la droite,
C'est ici que la géométrie éclaire le calcul. La condition
Or
Vérification par la formule de la distance d'un point à une droite
On parcourt la droite
| distance | |||
|---|---|---|---|
Minimum net et symétrique en
Réponse : le point
Extrema sur le cercle
Déterminer les extrema de
Indices (3)
Évaluer
Correction détaillée
Première contrainte non linéaire : le cercle
Autre nouveauté : le domaine est fermé et borné — un cercle. Une fonction continue y atteint donc son maximum et son minimum : on sait d'avance que les deux existent, il n'y a plus qu'à les trouver. Cette remarque, appelée théorème des bornes atteintes, dispense de toute étude de nature.
D'abord vérifier que
Des deux premières :
Multiplicateurs correspondants :
Comme le cercle est fermé borné et que ce sont les seuls points critiques, la plus grande valeur trouvée est le maximum et la plus petite est le minimum. Aucune étude supplémentaire n'est requise.
Les lignes de niveau de
Le maximum de
Et la condition
Le cercle unité se paramètre par
grâce à la formule de l'addition. Le sinus varie entre
Le maximum a lieu quand
Avoir deux méthodes indépendantes qui donnent le même résultat est la meilleure garantie qu'on ne s'est pas trompé.
Le maximum
Réponse : maximum
Produit sur le cercle
Déterminer les extrema de
Indices (3)
Avec
Correction détaillée
Même contrainte qu'en B3 — le cercle unité — mais la fonction
C'est aussi l'occasion d'un réflexe à installer : quand un système donne
Multiplions
Les membres de droite sont identiques, donc
(Astuce à retenir : multiplier chaque équation par la variable qui manque fait apparaître le même produit
Branche
Branche
Les multiplicateurs valent
Le cercle étant fermé borné :
Comme en A5, un extremum peut parfaitement être atteint en plusieurs points.
Avec
par la formule de duplication. Le sinus variant dans
Le maximum
Le facteur
On voit les quatre extrema se succéder tous les
Le résultat
qui est vraie pour tous réels, puisqu'elle équivaut à
Réponse : maximum
Produit maximal à somme fixée
Maximiser
Indices (3)
Reporter dans la contrainte.
Correction détaillée
Premier problème à trois variables. La méthode ne change pas d'un iota : on écrit
Ce qui change, c'est la façon de résoudre : à trois variables, on ne substitue plus tête baissée. On cherche une symétrie ou une combinaison qui simplifie. Ici
Les trois premières donnent
Comme le problème impose
, on divise par : ; , on divise par : .
Donc
Noter à quel point l'hypothèse
Le domaine
Quand une variable tend vers
Donc :
Ce résultat est l'inégalité arithmético-géométrique pour trois nombres :
avec égalité si et seulement si
avec égalité exactement en
| somme | produit | |
|---|---|---|
Plus on déséquilibre, plus le produit s'effondre. Le maximum récompense l'égalité parfaite — c'est le contenu même de l'inégalité arithmético-géométrique.
Le même calcul avec
C'est le principe derrière une foule de résultats : parmi les rectangles de périmètre donné, le carré maximise l'aire (exercice B1) ; parmi les boîtes de somme d'arêtes donnée, le cube maximise le volume ; etc.
Réponse : maximum
Distance d'un point à un plan
Trouver le point du plan
Indices (3)
Reporter dans la contrainte.
Correction détaillée
C'est l'exercice B2 monté d'une dimension : on cherche le point d'un plan le plus proche de l'origine, et la réponse doit être le pied de la perpendiculaire au plan.
Deux réflexes déjà installés se retrouvent tels quels :
- on minimise le carré de la distance,
, pour éviter le radical ; - le gradient de la contrainte,
, n'est autre que le vecteur normal au plan.
À la fin, on vérifiera avec la formule de la distance d'un point à un plan, qui doit redonner la même chose.
Contrainte :
Les trois premières se lisent d'un coup :
Autrement dit
On reporte dans la contrainte :
En mettant tout sur
Coïncidence remarquable et instructive : le point
La formule du cours. La distance de l'origine au plan
Par Cauchy–Schwarz. Pour tout point du plan,
d'où
Ce dernier argument est le meilleur des trois : il prouve d'un coup que c'est bien un minimum global, sans étude de nature.
Tous les points ci-dessous vérifient
| distance | ||
|---|---|---|
Attention en construisant un tel tableau : chaque point doit être sur le plan. On fixe
Réponse : le point
Forme quadratique convexe
Montrer que
Indices (3)
Calculer la Hessienne (constante).
Convexité
Le point critique d'une fonction convexe est le min global.
Correction détaillée
La convexité est la propriété qui transforme l'optimisation d'un art en une routine. Une fonction convexe n'a pas de « faux minimum » où l'on pourrait rester piégé : dès qu'on trouve un point critique, c'est le minimum, et il est global.
Pour une fonction deux fois dérivable, la convexité se lit sur la hessienne :
| hessienne | fonction |
|---|---|
| semi-définie positive ( |
convexe |
| définie positive ( |
strictement convexe (condition suffisante, pas nécessaire) |
Ici
Elle ne dépend pas du point — c'est le propre des quadratiques.
Chacune est suffisante ; les connaître toutes permet de choisir la plus rapide selon la situation.
(a) Le critère de Sylvester (le plus mécanique). On regarde les mineurs principaux dominants — les déterminants des sous-matrices en haut à gauche :
Tous strictement positifs
(b) Les valeurs propres.
Toutes deux
(c) La forme canonique (la plus parlante). On complète le carré en
Somme de deux carrés à coefficients
Le point critique :
Et la forme canonique conclut sans appel :
avec égalité si et seulement si
Comparer avec l'exercice A3 : là-bas, le minimum n'était que local, parce que
| point | |
|---|---|
Toujours
Convexité selon un paramètre
Pour quelles valeurs de
Indices (3)
Convexe
Correction détaillée
Même famille qu'en E1, mais avec un paramètre : la question n'est plus « est-elle convexe ? » mais « pour quelles valeurs de
Deux pièges à éviter dès le départ :
- ne pas oublier le facteur :
, pas (le terme dérivé en donne , puis en donne ) ; - convexe demande la hessienne semi-définie positive, donc des inégalités larges. Les bornes
sont donc incluses.
On veut
Et pour la convexité stricte, il faut
Cas
Cas
Cas
| valeurs propres | conclusion | ||
|---|---|---|---|
| non convexe (col) | |||
| convexe, non stricte : |
|||
| strictement convexe | |||
| strictement convexe : |
|||
| strictement convexe | |||
| convexe, non stricte : |
|||
| non convexe (col) |
Le tableau est symétrique en
Réponse :
Pour une forme quadratique générale
— c'est-à-dire, au signe près, le discriminant du trinôme
Descente de gradient 1D
Appliquer la descente de gradient à
Indices (3)
Itérer avec
Convergence vers
Correction détaillée
La descente de gradient est l'algorithme d'optimisation le plus utilisé au monde — c'est lui qui entraîne les réseaux de neurones. Son principe tient en une phrase : le gradient pointe vers la plus forte montée, donc on avance dans la direction opposée.
où
Sur
C'est une suite géométrique de raison
Le comportement ne dépend donc que de
Avec
En fractions exactes :
La suite continue
La suite géométrique
Détaillons ce qui se passe selon
| comportement | ||
|---|---|---|
| converge lentement, sans changer de signe | ||
| atteint le minimum en UN pas (pas optimal) | ||
| converge en oscillant autour de |
||
| converge en oscillant, lentement | ||
| oscille sans fin entre |
||
| diverge en oscillant |
C'est le comportement le plus instructif, parce qu'en pratique c'est le symptôme d'un pas mal réglé. Avec
L'algorithme saute par-dessus le minimum, et de plus en plus loin. Le signe alterne : c'est la signature visuelle d'un pas trop grand.
À comparer avec
Le meilleur pas est celui qui annule
Attention à ne pas généraliser trop vite : dès qu'il y a plusieurs variables avec des courbures différentes, aucun pas ne peut annuler toutes les raisons à la fois. C'est précisément l'objet de l'exercice suivant.
Réponse :
Pas et conditionnement
Pour
Indices (3)
Chaque composante est stable ssi son facteur est
La plus grande courbure (
Correction détaillée
On passe à deux variables, avec des courbures très différentes dans chaque direction :
Les lignes de niveau sont des ellipses très allongées — une vallée étroite. L'algorithme y rencontre son problème le plus caractéristique : la direction raide impose un pas petit, mais ce pas est alors ridiculement petit pour la direction plate. On avance donc au rythme de la plus lente, en étant bridé par la plus rapide.
La descente s'écrit :
Point capital : les deux coordonnées évoluent sans se parler, chacune comme une suite géométrique, mais avec des raisons différentes :
Un seul pas
La convergence exige que les deux raisons soient de module
L'intersection est
Ce qui se passe si on dépasse :
| résultat | |||
|---|---|---|---|
| les deux au même rythme — optimal | |||
À
Départ
Observation frappante :
C'est le mode d'échec typique en apprentissage automatique, où l'on voit la fonction de coût partir vers l'infini : le remède est presque toujours de diviser le pas.
Prenons le meilleur pas possible. Il équilibre les deux raisons,
Même optimalement réglée, la descente ne gagne qu'un facteur
La quantité qui gouverne tout est le conditionnement, rapport des courbures :
(cuvette ronde) : taux , convergence en un pas ; : taux , il faut itérations pour gagner un facteur ; : taux , il en faudrait plus de .
Le conditionnement, et non le nombre de variables, est ce qui rend une descente lente.
Trois remèdes classiques, tous destinés à combattre un
- remettre les variables à l'échelle — ici le changement
donne , donc : le problème devient trivial. C'est le préconditionnement ; - ajouter de l'inertie (méthode du moment) : on garde une partie du déplacement précédent, ce qui amortit les zigzags dans la direction raide ;
- utiliser la courbure (Newton, quasi-Newton) : on remplace
par , ce qui revient à donner à chaque direction son propre pas.
Réponse : il faut
Moindres carrés comme minimisation
Ajuster une droite
Indices (3)
Correction détaillée
La régression linéaire — ajuster une droite à un nuage de points — est un problème d'optimisation à deux variables, et l'un des plus utiles qui soient. Ce qui se cherche n'est pas
Chaque terme est le carré de l'écart vertical entre le point et la droite. On les met au carré pour deux raisons : les écarts positifs et négatifs ne doivent pas se compenser, et le carré est dérivable (contrairement à la valeur absolue).
On range les données et on calcule les quatre sommes dont tout dépend. Points :
| 1 | ||||
| 2 | ||||
| 3 | ||||
| 4 | ||||
| somme |
Soit
Ce tableau est le seul endroit où l'on peut se tromper bêtement — le refaire une fois avant de continuer coûte trente secondes et évite tout le reste.
On dérive
En développant, on obtient les équations normales :
Multiplions la seconde par
Soustrayons la première de la seconde :
Puis
La droite des moindres carrés est
Vérification immédiate dans les équations de départ — un geste à ne jamais sauter :
On compare valeurs prédites et valeurs observées :
| résidu |
|||
|---|---|---|---|
Deux contrôles qui valident le calcul :
- la somme des résidus est nulle :
. Ce n'est pas une coïncidence, c'est exactement la seconde équation normale ; - la droite passe par le point moyen
. Vérifions : ✓. Toute droite de moindres carrés passe par le barycentre du nuage.
Somme des carrés résiduels :
La hessienne de
avec
Contrôle numérique en perturbant les paramètres :
Toutes les perturbations font remonter
Réponse :
numpy.polyfit donne Convexité ⇒ minimum global
Expliquer pourquoi, pour une fonction convexe dérivable, un point critique est nécessairement un minimum global. Illustrer sur
Indices (3)
Convexité :
En un point critique
Substituer.
Correction détaillée
Pour une fonction quelconque, un point critique peut être un minimum, un maximum, un col, ou rien de tout cela — et même un vrai minimum peut n'être que local : c'est le cas de
La convexité fait disparaître d'un coup toute cette casuistique :
Si
est convexe et dérivable, tout point où est un minimum GLOBAL.
C'est le théorème qui fait la valeur pratique de la convexité : plus besoin de hessienne, plus besoin de vérifier le bord, plus de « c'est peut-être seulement local ». On trouve, on a fini.
Tout repose sur la caractérisation suivante de la convexité, à connaître par cœur :
Formellement, pour tous points
Supposons maintenant
C'est la définition même d'un minimum global. La démonstration tient en une substitution.
En une variable,
Quand la tangente est horizontale (
L'image explique aussi pourquoi le théorème tombe en défaut sans convexité : sur
Reprenons
1. Elle est convexe. Sa hessienne est constante :
de valeurs propres
2. Elle a un point critique.
3. Conclusion, sans autre calcul. Par le théorème,
Comparons le coût : en A1 il avait fallu écrire la forme canonique
| point | écart au minimum | |
|---|---|---|
| — | ||
Aucune valeur ne descend sous
Ce théorème est la raison pour laquelle on cherche toujours à reformuler un problème sous forme convexe :
- pas de minimum local parasite : une descente de gradient ne peut pas rester piégée ailleurs qu'au vrai minimum ;
- un critère d'arrêt fiable :
signifie qu'on a fini, ce qui est faux en général ; - l'unicité dès que la convexité est stricte : deux minima distincts
donneraient sur tout le segment , ce qu'une fonction strictement convexe interdit.
Les moindres carrés (E5), la régression ridge (D6) et toute la programmation linéaire (lot C) doivent leur robustesse à cette propriété.
Réponse : pour