Une devinettePour commencerCas d'ouverture
Réfléchis une secondeEssaie de répondrePosez votre intuition
Pour réparer un vélo, tu appelles toute la cour de récré ou juste le copain qui s'y connaît ?
Pense à ta réponse, même si tu n'es pas sûr. La suite te dira si tu avais vu juste.
Tu as 50 persos débloqués mais tu n'en sors que 3 par manche. Et si une IA faisait pareil avec son cerveau ?
Prends dix secondes pour répondre dans ta tête. Tu compareras avec la suite.
Deux modèles affichent la même taille sur la fiche technique, l'un coûte bien moins cher à faire tourner. Que ne vous dit pas le chiffre ?
Formulez d'abord votre réponse, même approximative : la comparer à la suite fixe bien mieux les acquis.
Regarde ça bougerVois-le en actionLe concept en mouvement
Dense vs MoE : tout activer, ou seulement les bons experts ?
Bascule entre « dense » (tout le réseau s'active) et « MoE » (un routeur ne réveille que quelques experts) et vois la jauge de coût par token changer.
Question clé : faut-il activer tout le réseau, ou seulement une partie spécialisée ?
La machine maligne, c'est comme appeler au tableau seulement les copains qui connaissent la réponse, pas toute la classe.
Le dense fait plancher toute la classe à chaque question ; le MoE n'appelle au tableau que les élèves vraiment concernés.
Le dense, c'est convoquer tout le service à chaque dossier ; le MoE, c'est n'appeler que les quelques spécialistes vraiment concernés.
Comment ça marcheComment ça marcheLa mécanique
Une étape à la foisLe mécanisme, étape par étapeLe mécanisme, étape par étape
Toute la classe, ou juste les copains qui savent ?
Imagine toute la classe qui réfléchit à CHAQUE question, même ceux qui ne savent pas. La machine « dense » fait pareil : tout le monde travaille.
Ça donne une bonne réponse, mais ça fatigue tout le monde et c'est très long.
L'autre machine est maligne : un surveillant appelle juste 2 ou 3 élèves très forts sur la question.
Les autres élèves se reposent. La réponse est aussi bonne, et on a fait travailler moins de monde !
Toute l'équipe, ou juste les bons joueurs ?
Dense : pour répondre, le réseau allume TOUT son cerveau à chaque mot, même les parties inutiles.
MoE : un aiguilleur (le « routeur ») choisit quelques spécialistes et n'allume qu'eux pour ce mot-là.
Du coup tu gardes plein de capacité, mais tu calcules moins à chaque fois : moins de batterie, moins cher.
Le piège : il faut bien gérer le routeur, sinon certains spécialistes bossent trop et d'autres dorment.
Faire travailler tout le monde, ou seulement les spécialistes utiles
Dense : à chaque token, l'ensemble des paramètres du réseau est activé. Robuste et prévisible, mais le coût grimpe vite quand le modèle est très grand.
MoE : un routeur sélectionne, pour chaque token, un petit sous-ensemble d'experts (souvent « top-k »). Seuls ces experts calculent.
Résultat visé : un meilleur compromis capacité/coût d'inférence, beaucoup de paramètres totaux mais une fraction activée par token.
Contrepartie : équilibrage de charge entre experts, instabilités d'entraînement, mémoire pour stocker tous les experts et routage à surveiller.
Des exemples pour toiDes exemples concretsExemples concrets
Tu l'as déjà croiséOù tu le retrouvesOù vous le retrouvez en situation
Un exemple pour toi
C'est comme à la récré quand tu joues aux devinettes. Si tu demandes « c'est quoi cet animal ? », tu n'appelles pas TOUS tes copains. Tu appelles juste celui qui adore les animaux ! Lui, il sait tout de suite. Comme ça, tout le monde n'a pas besoin de se creuser la tête.
C'est comme à la récré : pour réparer un vélo, tu appelles juste le copain qui s'y connaît, pas toute la cour.
Pour un dessin animé d'animaux, on réveille l'expert des animaux, pas l'expert des bonbons.
Une grande boîte de jouets : tu n'en sors pas mille à la fois, tu prends juste ceux dont tu as besoin pour jouer.
Cas concret
C'est un peu comme dans un jeu vidéo en équipe : tu as 50 persos débloqués, mais tu n'en sors que 3 par manche selon la map. Avoir une grosse collection ≠ tous les utiliser en même temps. Le MoE, c'est pareil : beaucoup d'experts dispos, peu activés par mot.
Comme un groupe de révision où, pour chaque question, on appelle juste les 2 potes forts dans cette matière au lieu de toute la classe.
Une appli de chat IA sur ton smartphone peut préférer un modèle plus simple si elle doit répondre ultra vite sans laguer.
Une marque qui annonce « notre IA a 400 milliards de paramètres » : impressionnant, mais elle n'en allume peut-être qu'une petite partie à chaque mot.
Cas concret
Imaginez un grand cabinet de conseil. Pour chaque dossier client, vous ne convoquez pas les 200 consultants : un responsable n'appelle que les 2 ou 3 spécialistes du sujet. Le cabinet reste immense (grande capacité), mais chaque dossier ne mobilise qu'une petite équipe (coût maîtrisé). Un modèle dense, lui, ferait plancher tout le cabinet sur chaque dossier.
Certaines familles de modèles haut de gamme (par ex. côté Meta ou Mistral) utilisent des logiques d'experts pour scaler autrement qu'en gonflant le coût par requête.
Un produit temps réel où la latence domine peut préférer une architecture dense plus simple et prévisible.
Un benchmark peut flatter la capacité brute d'un modèle sans raconter son coût opérationnel réel.
Attention aux piègesÀ éviterÀ éviter
Ce qu'on croit, et ce qui est vraiIdées reçues et pièges à éviterIdées reçues et risques à anticiper
-
On croit que
On croit que réveiller juste quelques copains, c'est forcément mieux.
En vrai
Pas toujours ! Des fois, c'est plus simple de demander à tout le monde. Ça dépend de la question.
-
On croit que
On croit qu'une très grande équipe est toujours plus forte.
En vrai
En vrai, ce qui compte c'est combien de copains travaillent VRAIMENT, pas combien il y en a en tout.
Les pièges à retenir
- Choisir les bons copains, c'est dur : des fois le surveillant se trompe.
- Une grosse équipe, c'est pas toujours mieux : ça dépend de ce qu'on demande.
-
On croit que
« Un MoE bat toujours un modèle dense. »
En réalité
Faux. Le MoE améliore le rapport capacité/coût, mais il est plus compliqué. Pour des cas simples ou ultra rapides, un dense peut gagner.
-
On croit que
« Plus de paramètres = IA plus intelligente. »
En réalité
Trompeur. Pour un MoE, ce qui compte aussi c'est combien sont vraiment allumés par mot, pas le total affiché sur l'affiche.
-
On croit que
« Le MoE, c'est juste un modèle en plus gros. »
En réalité
Non : c'est une vraie organisation interne avec un routeur qui n'allume qu'une partie spécialisée à chaque mot.
Les pièges à retenir
- Le MoE n'est pas automatiquement meilleur : ça dépend de l'usage.
- Le routeur ajoute de la complexité à régler et à surveiller.
- Juger une IA sur ses paramètres sans parler du coût réel, ça induit en erreur.
-
Idée reçue
« Un MoE est toujours meilleur qu'un dense. »
Réalité
Non. Le MoE améliore le compromis capacité/coût, mais ajoute de la complexité ; sur des cas simples ou temps réel, un dense peut être préférable.
-
Idée reçue
« Plus de paramètres = modèle plus intelligent. »
Réalité
Trompeur. Pour un MoE, ce qui compte aussi, c'est combien de paramètres sont réellement activés par token, pas seulement le total annoncé.
-
Idée reçue
« Le MoE, c'est juste un modèle plus gros. »
Réalité
Non : c'est une architecture où un routeur n'active qu'une partie spécialisée du réseau à chaque token.
Points de vigilance
- Le MoE n'est pas automatiquement meilleur dans tous les contextes.
- Le routage ajoute de la complexité de qualité, d'infrastructure et d'observabilité.
- Comparer deux modèles sans parler de coût réel peut induire en erreur.
Ce que je retiensÀ retenirÀ retenir
L'essentiel, en quatre idéesL'essentiel, en quatre idéesL'essentiel, en quatre points
La phrase à garder
Le plus malin, ce n'est pas de faire travailler tout le monde, c'est d'appeler juste les bons copains.
- Toute la classe Une machine fait réfléchir tout le monde à chaque question. C'est long.
- Juste les forts Une autre appelle juste 2 ou 3 copains experts. Plus rapide !
- Une grande équipe Plein de copains experts, mais on n'en réveille que quelques-uns.
- Pas magique Il faut bien choisir les bons copains, sinon ça rate.
La phrase à garder
Comparer deux IA, ce n'est pas juste leur taille : c'est aussi combien de cerveau elles allument vraiment à chaque mot.
- Dense = tout s'allume Tout le réseau bosse à chaque mot. Complet mais coûteux quand c'est géant.
- MoE = quelques experts Un routeur réveille juste 2-3 spécialistes par mot.
- Gros ≠ cher à utiliser Beaucoup de paramètres au total, peu allumés à la fois.
- Pas magique Le routeur doit bien répartir le boulot, sinon ça déraille.
Message clé
Comparer des modèles, c'est aussi comparer leur manière d'activer leur intelligence, pas seulement leur nombre de paramètres.
- Dense = tout s'active L'ensemble des paramètres travaille à chaque token. Coûteux à grande échelle.
- MoE = activation partielle Un routeur n'active qu'un petit sous-ensemble d'experts par token.
- Capacité ≠ coût Beaucoup de paramètres totaux, peu réellement activés par token.
- Pas une baguette magique Routage, équilibrage de charge et infrastructure à maîtriser.
Je m'entraîneJe valideÉvaluation
Je teste ce que j'ai comprisJe teste ce que j'ai comprisValidez vos acquis
Valider : Dense vs mixture-of-experts
4 questions. Il faut 70 % de bonnes réponses pour maîtriser la fiche. Tu as le droit de te tromper et de réessayer.
Pour les curieuxPour aller plus loinPour aller plus loin
Si tu veux en savoir plusCreuser le sujetApprofondir et poursuivre
Sous le capot, pour les curieux
Toute la classe
Tout le monde réfléchit en même temps
Dans un modèle dense, c'est comme si toute la classe levait le doigt à chaque question, même les copains qui ne connaissent pas la réponse. Ça marche bien, mais tout le monde se fatigue, et quand la classe est énorme, c'est très long !
Le surveillant
Quelqu'un choisit qui répond
Le routeur, c'est comme un gentil surveillant. À chaque question, il regarde et appelle seulement les 2 ou 3 élèves qui s'y connaissent. Les autres se reposent un moment et ne réfléchissent pas pour cette question-là.
Plein d'élèves, peu réveillés
Une très grande classe, mais peu de doigts levés
On peut avoir une classe géante avec des spécialistes de tout : les dinosaures, les fusées, les gâteaux... Mais à chaque question, on n'en réveille que quelques-uns. Du coup on est très malin sans fatiguer tout le monde à chaque fois.
Pas de baguette magique
Ce n'est pas magique, ça demande de l'ordre
Il faut bien partager le travail pour qu'un seul élève ne fasse pas tout, garder de la place pour tous les élèves dans la salle, et surveiller que le surveillant choisit bien. Parfois, pour aller super vite, une petite classe toute simple suffit.
Sous le capot
Dense
Tous les paramètres bossent à chaque mot
Un modèle dense fait passer chaque token (un bout de mot) à travers la totalité de ses paramètres, comme une appli qui chargerait tout son code à chaque clic. C'est fiable et prévisible, mais plus le modèle grossit, plus chaque réponse coûte cher en calcul.
Routeur
Un aiguilleur qui sélectionne les experts
Le réseau est découpé en plusieurs « experts ». Pour chaque token, un petit module appelé routeur choisit le top-k (par exemple les 2 experts les plus utiles) et ignore les autres. Pense à un feed qui ne t'affiche que les comptes pertinents au lieu de tout afficher.
Capacité vs coût
Beaucoup de paramètres, une fraction activée
Un MoE peut afficher un nombre total de paramètres énorme, mais n'en active qu'une petite partie par token. C'est pour ça qu'un modèle « plus gros sur le papier » peut tourner sans exploser le coût de chaque réponse. Le vrai chiffre à regarder, c'est les paramètres activés, pas le total.
Les pièges
Le MoE ajoute de la complexité
Il faut équilibrer la charge (éviter que tous les tokens aillent vers le même expert), gérer des entraînements parfois instables, garder tous les experts en mémoire même les endormis, et surveiller les choix du routeur. Pour une appli temps réel où la latence prime, un dense plus simple peut rester le meilleur choix.
Sous le capot : les briques techniques
Dense
Tout le réseau participe à chaque token
Chaque passage active l'ensemble des paramètres. C'est robuste et prévisible, mais le coût grimpe vite quand le modèle devient très grand.
Routeur
Le routeur choisit quels experts réveiller
Pour chaque token, un petit mécanisme sélectionne un sous-ensemble d'experts (souvent les plus pertinents). Le reste du réseau ne calcule pas pour ce token.
Capacité vs coût
Beaucoup de paramètres, peu activés à la fois
Un MoE peut avoir énormément de paramètres totaux mais n'en activer qu'une fraction par token. D'où des modèles « plus gros » sans exploser le coût par réponse.
Pièges
Le MoE n'est pas magique
Équilibrage de charge entre experts, instabilités d'entraînement, mémoire pour stocker tous les experts, routage à surveiller. Sur certains usages temps réel, un dense plus simple reste préférable.
Les questions que tu te poses peut-être
- La machine est plus intelligente que moi ?
- Non ! Elle a juste plein de petits aides, comme une grande classe. Toi, tu apprends de vraies choses dans ta tête. Elle, elle pioche dans ce qu'elle a déjà vu. C'est pas pareil.
- Pourquoi elle ne fait pas tout travailler tout le temps ?
- Parce que ça la fatiguerait beaucoup, comme toi si tu courais sans jamais t'arrêter. En réveillant juste les bons copains, elle va plus vite et elle est moins fatiguée.
- Est-ce qu'elle peut se tromper ?
- Oui, elle peut se tromper, comme toi à une devinette ! Si le surveillant appelle le mauvais copain, la réponse peut être à côté. C'est pour ça qu'il faut toujours vérifier avec un grand.
Questions fréquentes
- C'est quoi la différence dense vs MoE, simplement ?
- Dense : tout le réseau s'active à chaque token. MoE : un routeur n'active qu'une partie spécialisée (quelques « experts »).
- Pourquoi utiliser un MoE ?
- Pour avoir une grande capacité totale sans payer le calcul complet à chaque token, donc un meilleur compromis qualité / coût.
- Plus de paramètres = plus intelligent ?
- Pas forcément. Il faut regarder les paramètres réellement activés par token, pas seulement le total annoncé.
- Quand préférer un modèle dense ?
- Quand la simplicité, la latence et la prévisibilité priment, ou quand le surcoût d'infrastructure du MoE n'est pas justifié.
Pour continuer
-
Lis l'histoire en BD, c'est plus rigoloCette notion existe aussi en BDCette notion existe aussi en BD La classe des ânes feignants - Fiche à suivre Latence, coût et cache Pour chiffrer concrètement ce compromis capacité / coût.
- Fiche à suivre Fine-tuning et alignement Pour voir comment on spécialise et on cadre un modèle.
- Fiche à suivre Évaluations et fiabilité Pour comparer honnêtement deux modèles, au-delà des paramètres.
SourcesSourcesSources vérifiées