Une devinettePour commencerCas d'ouverture
Réfléchis une secondeEssaie de répondrePosez votre intuition
Ta grande sœur sait faire du vélo sans petites roues. Comment t'apprend-elle, sans que tu deviennes aussi grand qu'elle ?
Pense à ta réponse, même si tu n'es pas sûr. La suite te dira si tu avais vu juste.
Le clavier qui corrige tes fautes marche sans réseau, en un instant. Où est passé le gros cerveau de l'IA ?
Prends dix secondes pour répondre dans ta tête. Tu compareras avec la suite.
Une dictée vocale transcrit vos notes sur le poste, sans rien envoyer sur Internet. Comment un modèle tient-il sur une machine de bureau ?
Formulez d'abord votre réponse, même approximative : la comparer à la suite fixe bien mieux les acquis.
Regarde ça bougerVois-le en actionLe concept en mouvement
Regarde un grand modèle former un petit modèle agile
Le « professeur » entraîne un « élève » plus rapide, léger et économique, presque aussi bon sur sa tâche.
Puissant et polyvalent, mais il demande un gros ordinateur.
C'est comme une grande maîtresse qui apprend à un petit élève à faire comme elle.
C'est comme un champion qui forme un jeune joueur agile : presque aussi bon sur le terrain, mais bien moins cher à faire jouer.
La distillation, c'est un maître qui transmet l'essentiel à un apprenti : plus agile, presque aussi compétent, bien moins cher à employer.
Comment ça marcheComment ça marcheLa mécanique
Une étape à la foisLe mécanisme, étape par étapeLe mécanisme, étape par étape
Le grand maître apprend au petit élève
Une très grande machine sait plein, plein de choses, mais elle est lente.
On lui demande de montrer à une petite machine comment répondre.
La petite machine regarde et apprend à faire pareil.
À la fin, la petite va vite et tient même dans un téléphone !
Le grand prof forme le petit champion
Un grand modèle très fort joue le rôle de prof : c'est la référence.
Un petit modèle joue l'élève et s'entraîne à copier les réponses du prof.
On allège encore le petit : la quantization arrondit ses nombres (moins précis, plus léger), le pruning enlève les morceaux peu utiles.
On mesure ce qu'on gagne en vitesse et en coût, et ce qu'on perd en qualité.
Le maître forme l'apprenti agile
Un grand modèle « teacher » sert de référence de qualité.
Un petit modèle « student » s'entraîne à imiter ses réponses, et même des signaux plus riches comme ses probabilités de sortie.
On allège encore avec la quantization (réduire la précision des poids, ex. 16→8/4 bits) et le pruning (retirer les paramètres peu utiles).
On évalue le compromis qualité / vitesse / coût pour choisir le bon point d'équilibre selon l'usage.
Des exemples pour toiDes exemples concretsExemples concrets
Tu l'as déjà croiséOù tu le retrouvesOù vous le retrouvez en situation
Un exemple pour toi
C'est comme ta grande sœur qui sait faire du vélo sans les petites roues. Elle te montre, encore et encore, et toi tu apprends à pédaler pareil. Tu deviens vite super bon, et tu n'as pas besoin d'être aussi grand qu'elle pour rouler.
Une petite machine rapide qui rentre dans le téléphone de papa.
Un petit robot qui aide à colorier aussi bien qu'un grand.
Une petite machine qui répond vite à tes questions de récré.
Cas concret
Sur ton smartphone, le clavier qui corrige tes fautes, la traduction hors connexion ou les filtres qui détectent ton visage en temps réel : ce sont souvent de petits modèles distillés. Le gros cerveau reste sur les serveurs, le mini bosse dans ta poche sans vider ta batterie ni ta data.
La version « mini » d'un chatbot qui répond plus vite quand le gros est saturé.
Un modèle compressé qui tourne direct sur ton smartphone, sans serveur géant.
Un petit modèle spécialisé qui assure aussi bien que le gros sur une seule tâche (genre corriger l'orthographe).
Cas concret
Une appli de dictée vocale qui transcrit vos notes directement sur l'ordinateur sans envoyer l'audio sur Internet, ou un assistant « mini » qui résume vos e-mails en une fraction de seconde : derrière, un modèle léger issu d'un plus grand, rapide et peu gourmand.
La variante « mini » d'un assistant, déployée pour répondre vite et à moindre coût aux requêtes simples.
Un modèle quantizé qui tourne en local sur un téléphone, sans appel à un serveur distant.
Un petit modèle spécialisé (classification, extraction) qui rivalise avec un grand sur sa tâche précise.
Attention aux piègesÀ éviterÀ éviter
Ce qu'on croit, et ce qui est vraiIdées reçues et pièges à éviterIdées reçues et risques à anticiper
-
On croit que
On croit qu'une petite machine fait toujours n'importe quoi.
En vrai
Mais en vrai, pour son petit travail, elle peut être très douée et très rapide !
-
On croit que
On croit que la petite devient plus forte que la grande.
En vrai
Mais en vrai, la grande reste la plus forte. La petite est juste plus rapide et plus légère.
Les pièges à retenir
- La petite machine n'est presque jamais meilleure que la grande.
- Si on l'allège trop, elle fait plus de petites bêtises.
-
On croit que
« Un petit modèle est forcément nul. »
En réalité
Faux. Bien entraîné et ciblé sur une tâche, il peut rivaliser avec le gros, en étant beaucoup plus rapide.
-
On croit que
« L'élève finit meilleur que le prof. »
En réalité
Rarement, et pas partout. Il vise un super rapport qualité/coût, pas à dépasser le grand modèle sur tout.
-
On croit que
« Compresser un modèle, ça ne coûte rien en qualité. »
En réalité
Il y a presque toujours une petite perte. Souvent faible, mais réelle : c'est pour ça qu'on la mesure.
Les pièges à retenir
- Un modèle distillé est rarement meilleur que son prof en général.
- Si on compresse trop, la qualité baisse, parfois de façon discrète et difficile à repérer.
- Les gains changent selon la tâche : il faut tester cas par cas.
-
Idée reçue
« Un petit modèle est forcément mauvais. »
Réalité
Non. Bien distillé et ciblé, il peut rivaliser sur sa tâche, en étant bien plus rapide et économique.
-
Idée reçue
« La distillation rend l'élève meilleur que le professeur. »
Réalité
En polyvalence générale, rarement. Mais sur une tâche ciblée, surtout la distillation de raisonnement (ex. DeepSeek-R1 vers de petits modèles), un élève peut dépasser des modèles bien plus gros.
-
Idée reçue
« Quantizer un modèle ne change rien à la qualité. »
Réalité
Il y a presque toujours un léger coût en qualité. Faible souvent, mais réel : on le mesure.
Points de vigilance
- Un modèle distillé est rarement meilleur que son professeur en polyvalence générale.
- Trop compresser dégrade la qualité de façon parfois subtile et difficile à détecter.
- Les gains dépendent fortement de la tâche : à mesurer cas par cas par des évaluations.
Ce que je retiensÀ retenirÀ retenir
L'essentiel, en quatre idéesL'essentiel, en quatre idéesL'essentiel, en quatre points
La phrase à garder
Une grande machine montre à une petite comment faire : la petite devient rapide et tient partout !
- La grande montre La grande machine apprend à la petite.
- La petite copie La petite regarde et fait pareil.
- Toute légère La petite va vite et rentre dans le téléphone.
- Un petit peu moins forte La petite est presque aussi bonne, mais pas tout à fait.
La phrase à garder
Distillation (prof→élève), quantization et pruning fabriquent des modèles plus petits, rapides et économiques, en échange d'un peu de qualité qu'on mesure.
- Prof → élève Le grand modèle entraîne le petit à l'imiter.
- Quantization Nombres moins précis = modèle plus léger et plus rapide.
- Pruning On enlève les morceaux qui servent peu.
- Le compromis On échange de la qualité contre de la vitesse et du coût, et on le mesure.
Message clé
On fabrique des modèles légers par distillation (teacher→student), quantization et pruning : plus rapides et économiques, au prix d'un peu de qualité, à mesurer.
- Teacher → student Le grand modèle forme le petit en lui transférant son savoir.
- Quantization Moins de précision numérique sur les poids = moins de mémoire, inférence plus rapide.
- Pruning On retire les paramètres ou structures peu contributifs.
- Compromis mesuré De la qualité échangée contre vitesse et coût, validé par des évaluations.
Je m'entraîneJe valideÉvaluation
Je teste ce que j'ai comprisJe teste ce que j'ai comprisValidez vos acquis
Valider : Distillation et modèles légers
4 questions. Il faut 70 % de bonnes réponses pour maîtriser la fiche. Tu as le droit de te tromper et de réessayer.
Pour les curieuxPour aller plus loinPour aller plus loin
Si tu veux en savoir plusCreuser le sujetApprofondir et poursuivre
Sous le capot, pour les curieux
Le grand prof
Le petit copie le grand
Imagine un grand maître très fort qui montre à un petit comment répondre. Le petit regarde bien et apprend à faire pareil. Du coup, le petit devient presque aussi malin, mais il reste tout petit et rapide !
Plus léger
Arrondir les nombres pour alléger
Au lieu de retenir des nombres super longs et compliqués, le petit modèle les arrondit, comme quand tu dis « à peu près 3 » au lieu de « 2,9999 ». Ça prend moins de place dans sa tête et il va plus vite, sans presque rien perdre.
On range
Jeter ce qui ne sert pas
C'est comme ranger ta chambre : tu donnes les jouets avec lesquels tu ne joues jamais. Le modèle enlève les morceaux qui ne servent presque à rien, alors il devient plus léger. Mais il faut vérifier qu'il marche toujours bien !
Donner-prendre
On gagne un peu, on perd un peu
Pour aller plus vite et coûter moins cher, le petit modèle perd parfois un tout petit peu de savoir. C'est comme un vélo : plus léger, tu vas plus vite, mais tu portes moins de choses. On regarde si l'échange est intéressant.
Sous le capot
Distillation
L'élève imite le prof
Un gros modèle (le « teacher », le prof) entraîne un petit modèle (le « student », l'élève). L'élève ne copie pas juste la bonne réponse : il observe aussi à quel point le prof hésite entre plusieurs réponses (les probabilités). Comme apprendre d'un youtubeur qui explique pourquoi il choisit, pas seulement le résultat. Résultat : l'élève capte une partie du savoir sans être aussi gros.
Quantization
Moins de précision, moins de poids
Les réglages du modèle (les « poids ») sont stockés avec une certaine précision, par exemple 16 bits. La quantization les passe à 8 ou 4 bits : on garde moins de décimales. Ça divise la mémoire utilisée et accélère les calculs, un peu comme passer d'une photo très lourde à une version compressée presque identique à l'œil.
Pruning
Élaguer les paramètres inutiles
« Pruning » veut dire élaguer, comme tailler un arbre. On retire les paramètres (les petits réglages) qui ne servent presque à rien, comme désinstaller les applis que tu n'ouvres jamais pour libérer ton téléphone. Le modèle devient plus léger, mais il faut tester pour vérifier que la qualité tient toujours.
Compromis
Mesurer ce qu'on gagne et ce qu'on perd
Toute compression échange un peu de qualité contre de la vitesse, des économies et la possibilité de tourner sur un téléphone. Comme baisser la qualité d'un jeu vidéo pour qu'il tourne sans ramer : on accepte si la perte reste discrète. On mesure avec des tests pour choisir le bon point d'équilibre selon l'usage.
Sous le capot : les briques techniques
Distillation
Le student imite le teacher
Le petit modèle apprend des sorties du grand (et de signaux plus riches comme les probabilités). Il capte une partie de son savoir sans avoir sa taille.
Quantization
Moins de précision, moins de poids
Réduire la précision numérique des paramètres (ex. 16→8/4 bits) divise la mémoire et accélère l'inférence, avec une perte de qualité souvent maîtrisable.
Pruning
Retirer ce qui sert peu
On supprime des paramètres ou structures peu utiles. Le modèle devient plus léger ; il faut vérifier que la qualité reste acceptable.
Compromis
Mesurer ce qu'on gagne et ce qu'on perd
Toute compression échange un peu de qualité contre vitesse, coût et faisabilité. On l'évalue pour choisir le bon point d'équilibre selon l'usage.
Les questions que tu te poses peut-être
- Le petit élève, il est moins fort que le grand maître ?
- Pour son petit travail à lui, il est presque aussi bon ! Mais le grand maître sait plus de choses en tout. Le petit est juste plus rapide et plus léger.
- Pourquoi on fait un petit si on a déjà le grand ?
- Parce que le grand est lent et il a besoin d'un gros ordinateur. Le petit, lui, tient dans un téléphone et va très vite. C'est plus pratique !
- Est-ce que le petit peut se tromper ?
- Oui, ça arrive ! Comme toi quand tu apprends quelque chose de nouveau. Plus on le rend petit, plus il faut vérifier qu'il répond toujours bien.
Questions fréquentes
- Pourquoi fabriquer des modèles plus petits ?
- Pour aller plus vite, coûter moins cher, et parfois tourner sur des appareils modestes (téléphone, embarqué).
- Quelle différence entre distillation et quantization ?
- La distillation entraîne un petit modèle à imiter un grand. La quantization réduit la précision numérique des poids d'un modèle existant.
- Un modèle léger peut-il égaler un grand ?
- Sur une tâche précise et bien ciblée, il peut s'en approcher. En polyvalence générale, le grand modèle garde l'avantage.
- Comment savoir si la compression est acceptable ?
- En mesurant la qualité par des évaluations, pour vérifier que la perte reste faible au regard des gains.
Pour continuer
-
Lis l'histoire en BD, c'est plus rigoloCette notion existe aussi en BDCette notion existe aussi en BD IA et son petit cousin - Fiche à suivre Latence, coût et cache Pour relier modèles légers et réduction des coûts/latence.
- Fiche à suivre Modèles denses vs Mixture-of-Experts Une autre façon de gagner en efficacité à grande échelle.
- Fiche à suivre Comparer les familles de modèles Pour choisir entre une variante « mini » et un grand modèle (Niveau 2).
SourcesSourcesSources vérifiées