Required Maths
4 semaines de rappels structurés : algèbre linéaire, calcul différentiel, probabilités et statistiques, optimisation, toujours reliés au ML.
-
M1 · Vecteurs, produit scalaire et normes
La géométrie derrière la similarité, les distances et la régularisation : le vecteur comme objet central du ML.
-
M2 · Les matrices comme transformations
Produit matriciel, rang et inverse : pourquoi une couche de réseau de neurones n'est rien d'autre qu'une matrice.
-
M3 · Valeurs propres, SVD et PCA
Les directions qu'une matrice ne fait qu'étirer, la décomposition SVD, et ce que fait vraiment une PCA.
-
M4 · Dérivées, dérivées partielles et gradient
De la pente d'une courbe à la direction de plus forte montée d'une fonction à plusieurs variables, et au gradient d'une fonction de perte.
-
M5 · Règle de la chaîne et rétropropagation
Jacobiennes et règle de la chaîne : refaire à la main la rétropropagation d'un petit réseau, écrire un mini-autograd et comprendre le gradient qui disparaît.
-
M6 · Hessienne, convexité et développement de Taylor
Pourquoi certaines pertes sont faciles à optimiser et d'autres non : courbure, convexité, conditionnement et méthode de Newton.
-
M7 · Variables aléatoires, lois, espérance et variance
Le vocabulaire minimal pour raisonner sur l'incertain : lois usuelles, espérance, variance, covariance, loi des grands nombres, théorème central limite et autocorrélation.
-
M8 · Vraisemblance, Bayes et entropie
D'où viennent la MSE, la cross-entropie, la régularisation L2 et le gain d'information des arbres : les fonctions de perte vues comme des probabilités.
-
M9 · Statistique inférentielle pour comparer des modèles
Intervalles de confiance, bootstrap, McNemar, t corrigé et Kolmogorov-Smirnov : prouver qu'un modèle est vraiment meilleur qu'un autre, et détecter un drift.
-
M10 · Descente de gradient et ses variantes
SGD, momentum, Adam et gradient boosting : comment on minimise réellement une fonction de perte, et pourquoi le learning rate compte tant.
-
M11 · Contraintes et régularisation vues géométriquement
Multiplicateurs de Lagrange, conditions KKT et géométrie des normes : pourquoi la régularisation L1 annule des poids, pourquoi L2 les rétrécit, et comment s'en servir pour choisir ses features.
-
M12 · Synthèse : tout relire avec les maths
Régression logistique et MLP reconstruits en NumPy, chaque ligne justifiée par une notion de M1 à M11 : gradient, hessienne, Newton, rétropropagation, AdamW, bootstrap apparié. Puis le bilan du programme de maths.