Une devinettePour commencerCas d'ouverture
Réfléchis une secondeEssaie de répondrePosez votre intuition
À la cantine, le dessert tout prêt arrive tout de suite, le gâteau d'anniversaire prend du temps. Et les réponses de la machine ?
Pense à ta réponse, même si tu n'es pas sûr. La suite te dira si tu avais vu juste.
Le chatbot d'un jeu répond en une seconde quand on lui demande comment changer de pseudo. Pourquoi si vite, et presque gratuitement ?
Prends dix secondes pour répondre dans ta tête. Tu compareras avec la suite.
Votre service client IA répond très bien, mais lentement et cher. Quels leviers actionner avant de changer de modèle ?
Formulez d'abord votre réponse, même approximative : la comparer à la suite fixe bien mieux les acquis.
Regarde ça bougerVois-le en actionLe concept en mouvement
Vois l'effet du cache sur la latence et le coût
Une question fréquente arrive. Sans cache : on recalcule tout (lent, cher). Avec cache : on réutilise la réponse (rapide, presque gratuit).
Même question, posée tout le temps. Faut-il vraiment tout recalculer à chaque fois ?
C'est comme un super cuisinier : même s'il fait des plats magiques, si tu attends une heure ton goûter, tu pars jouer ailleurs.
C'est comme un resto : même avec un chef génial, si l'assiette arrive après 40 minutes, tu ne reviens pas.
Vous pouvez avoir un chef étoilé, mais s'il met quarante minutes à servir chaque assiette, le restaurant ne tient pas.
Comment ça marcheComment ça marcheLa mécanique
Une étape à la foisLe mécanisme, étape par étapeLe mécanisme, étape par étape
Vite, bien, et pas trop cher
Si la machine met trop longtemps à répondre, on s'ennuie et on s'en va.
Quand on lui pose une question déjà connue, elle garde la réponse de côté pour la redonner tout de suite.
Pour une question facile, elle prend une petite machine rapide. Pour une question dure, une grande machine.
Plus on lui donne à lire à chaque fois, plus ça prend du temps et ça coûte cher.
Vite, bien, pas cher : choisis-en deux
La latence, c'est le temps avant que l'appli te réponde. Plus c'est court, plus ça paraît fluide.
Le coût dépend du modèle choisi, du nombre de demandes et de la longueur du texte que tu envoies à chaque fois.
Le cache garde en mémoire les réponses déjà calculées pour les ressortir vite, au lieu de tout refaire.
On choisit un petit modèle rapide pour les tâches faciles, et un gros modèle pour les trucs vraiment durs.
Le triangle qualité / vitesse / coût
La latence, c'est le temps de réponse ressenti : plus le premier mot arrive vite, plus l'expérience paraît fluide.
Le coût dépend du modèle choisi, du volume d'appels, du nombre d'étapes et de la longueur du contexte envoyé (on paie surtout au token).
Le cache réutilise des réponses ou des préfixes déjà calculés, ce qui évite de tout recalculer sur les cas répétés.
On route la tâche : un petit modèle rapide pour le simple, un modèle premium réservé aux cas exigeants.
Des exemples pour toiDes exemples concretsExemples concrets
Tu l'as déjà croiséOù tu le retrouvesOù vous le retrouvez en situation
Un exemple pour toi
C'est comme à la cantine. Le dessert tout prêt, le cuisinier le donne tout de suite. Mais le gros gâteau d'anniversaire, il met plus longtemps à le faire. La machine, c'est pareil : la réponse déjà prête arrive vite, la réponse compliquée prend plus de temps.
Tu demandes « 2 + 2 » : elle a déjà la réponse de côté, elle dit « 4 » tout de suite, comme un copain malin.
Pour colorier un petit dessin tout simple, une petite machine suffit. Pour un grand château, il faut une grande machine.
Si la maîtresse pose toujours la même question, elle connaît la réponse par cœur et répond vite, sans réfléchir longtemps.
Cas concret
Le chatbot d'aide d'un jeu vidéo : pour « comment changer mon pseudo ? » (posé mille fois), il sort une réponse en cache, instantanée et quasi gratuite. Pour un bug rare et compliqué, il appelle un modèle plus puissant, plus lent et plus coûteux. C'est le triangle qualité / vitesse / coût.
Un chatbot de jeu vidéo qui répond en une seconde te garde accroché ; à dix secondes, tu quittes.
La FAQ d'une appli garde en cache les réponses aux questions posées tout le temps, comme « comment changer mon mot de passe ».
Un correcteur qui utilise un mini-modèle pour repérer les fautes simples et un gros seulement pour reformuler tout un paragraphe.
Cas concret
Un service client par e-mail : un petit modèle rapide trie d'abord les messages (facture, livraison, réclamation), et seules les réponses délicates partent vers un grand modèle. Les questions ultra-fréquentes piochent dans un cache. Résultat : réponses quasi instantanées sur le courant, budget maîtrisé, qualité réservée là où elle compte.
Un help center qui met en cache les réponses aux questions fréquentes, donc instantanées et quasi gratuites.
Un classement de tickets confié à un petit modèle, et la rédaction des réponses confiée à un grand modèle.
Découper une tâche longue en étapes plus courtes et contrôlées plutôt qu'un seul énorme contexte coûteux.
Attention aux piègesÀ éviterÀ éviter
Ce qu'on croit, et ce qui est vraiIdées reçues et pièges à éviterIdées reçues et risques à anticiper
-
On croit que
On croit qu'il faut toujours la plus grande machine.
En vrai
En vrai, une petite machine rapide suffit très souvent. On garde la grande pour les questions dures.
-
On croit que
On croit que dépenser moins ne change rien.
En vrai
En vrai, si on coupe trop, la machine répond moins bien et fait plus de bêtises.
-
On croit que
On croit que plus on lui donne à lire, mieux elle répond.
En vrai
En vrai, trop de choses à lire, ça l'embrouille et ça coûte cher pour rien.
Les pièges à retenir
- Si on veut payer trop peu, la machine répond moins bien.
- Lui donner trop de choses à lire d'un coup, ça coûte cher et ça aide à peine.
- Une machine rapide mais qui se trompe souvent, on ne lui fait plus confiance.
-
On croit que
« La meilleure appli prend toujours le plus gros modèle. »
En réalité
Faux. Un petit modèle rapide suffit pour la plupart des tâches ; on garde le gros pour les cas exigeants.
-
On croit que
« Baisser le coût ne change rien à la qualité. »
En réalité
Faux. Couper trop fort (modèle trop léger, texte trop court) peut faire chuter la qualité que tu ressens.
-
On croit que
« Plus j'envoie de texte, meilleure est la réponse. »
En réalité
Pas toujours. Un texte trop long coûte cher et peut même noyer l'info utile.
Les pièges à retenir
- Réduire les coûts trop fort peut faire baisser la qualité que ressent l'utilisateur.
- Envoyer un très long contexte coûte cher pour un gain parfois minuscule.
- Une appli ultra-rapide mais qui se trompe souvent casse la confiance.
-
Idée reçue
« Le meilleur produit utilise toujours le plus gros modèle. »
Réalité
Non. Souvent un petit modèle rapide suffit pour la majorité des tâches ; on réserve le grand aux cas exigeants.
-
Idée reçue
« Réduire le coût n'a pas d'effet sur la qualité. »
Réalité
Faux. Couper trop agressivement (modèle trop léger, contexte trop court) peut faire chuter la qualité perçue.
-
Idée reçue
« Plus de contexte = meilleure réponse. »
Réalité
Pas toujours. Un très long contexte coûte cher et peut même noyer l'info utile ; on envoie le pertinent, pas tout.
Points de vigilance
- Réduire les coûts trop agressivement peut faire chuter la qualité perçue.
- Une grande fenêtre de contexte peut coûter cher pour un gain faible.
- Un système rapide mais peu fiable détruit aussi la confiance.
Ce que je retiensÀ retenirÀ retenir
L'essentiel, en quatre idéesL'essentiel, en quatre idéesL'essentiel, en quatre points
La phrase à garder
La meilleure machine, ce n'est pas la plus épatante : c'est celle qui aide vite et sans coûter trop cher.
- Trop lent, on part Si elle répond trop tard, personne ne veut jouer avec.
- Elle garde de côté Une réponse déjà connue, elle la ressort tout de suite.
- Petite ou grande Petite machine pour le facile, grande machine pour le dur.
- Pas trop à lire Trop de choses à lire d'un coup, c'est long et ça coûte cher.
La phrase à garder
La meilleure appli IA n'est pas la plus bluffante en démo, c'est celle qui équilibre qualité, vitesse et coût.
- Le triangle Qualité, vitesse, coût : on doit toujours arbitrer entre les trois.
- On paie au texte Plus tu envoies de texte à chaque fois, plus la facture grimpe.
- Le cache fait gagner Réutiliser une réponse déjà connue au lieu de tout recalculer.
- Le bon modèle Petit et rapide pour le facile, gros pour le difficile.
Message clé
Le meilleur produit IA n'est pas le plus impressionnant en labo : c'est le plus juste dans ses compromis.
- Qualité / vitesse / coût Un triangle qu'on arbitre en permanence selon l'enjeu.
- On paie au token Un contexte long fait gonfler directement la facture.
- Le cache fait gagner Réutiliser des réponses ou préfixes au lieu de recalculer.
- Le bon modèle au bon endroit Petit pour le simple, premium pour le difficile.
Je m'entraîneJe valideÉvaluation
Je teste ce que j'ai comprisJe teste ce que j'ai comprisValidez vos acquis
Valider : Latence, coût et cache
4 questions. Il faut 70 % de bonnes réponses pour maîtriser la fiche. Tu as le droit de te tromper et de réessayer.
Pour les curieuxPour aller plus loinPour aller plus loin
Si tu veux en savoir plusCreuser le sujetApprofondir et poursuivre
Sous le capot, pour les curieux
La vitesse
Si c'est trop long, on s'ennuie
Imagine que tu poses une question à un copain et qu'il met cinq minutes avant de dire le premier mot. Tu pars jouer ailleurs ! L'assistant, c'est pareil : il doit vite commencer à répondre, mot après mot, sans faire de détours inutiles.
Les sous
Chaque petit mot coûte une pièce
L'assistant, c'est comme un distributeur de bonbons : à chaque petit bout de réponse, on glisse une pièce. Plus on lui raconte d'histoires avant qu'il réponde, plus il faut de pièces. Si on lui parle trop, le pot de pièces se vide très vite !
La boîte à réponses
On garde la réponse au lieu de tout refaire
Quand on lui repose une question qu'il connaît déjà, il garde la réponse dans une petite boîte, comme un dessin déjà colorié. La fois d'après, il ressort le dessin tout de suite au lieu de tout recommencer. C'est plus rapide et ça coûte moins de pièces !
Le bon copain
Un petit pour le facile, un grand pour le dur
Pour ranger tes jouets, pas besoin d'appeler un super-héros : un petit copain rapide suffit. Mais pour une grosse énigme difficile, on appelle le grand malin. On choisit le bon assistant selon que la question est facile ou compliquée.
Sous le capot
Latence
Le temps de réponse, comme une appli qui rame
La latence, c'est le délai avant que ça réagisse, comme une vidéo qui buffer ou un jeu qui lag. Au-delà de quelques secondes, tu décroches. L'astuce : afficher le premier mot très vite (le streaming, où la réponse arrive mot par mot) et virer les étapes inutiles.
Coût
On paie au token, pas au forfait illimité
Un token, c'est un petit morceau de mot. L'IA facture à chaque token lu et écrit, un peu comme un forfait data où chaque méga compte. Le prix dépend du modèle, du nombre d'appels et surtout de la longueur du contexte (tout le texte qu'on lui envoie avant). Plus tu lui balances de contexte, plus la facture grimpe.
Cache
Mémoriser pour ne pas recalculer
Le cache, c'est comme garder une capture d'écran d'un truc déjà calculé. Pour les questions qui reviennent souvent (ou les débuts de contexte identiques), on réutilise la réponse stockée au lieu de tout refaire. Résultat : plus rapide ET moins cher sur les cas répétés.
Routage
Le bon modèle pour la bonne tâche
Le routage, c'est aiguiller chaque demande vers le modèle adapté. Un petit modèle rapide pour trier ou classer, un gros modèle pour rédiger ou raisonner sur un truc complexe. En choisissant selon la difficulté, tu optimises le triangle qualité / vitesse / coût au lieu de sortir l'artillerie lourde à chaque fois.
Sous le capot : les briques techniques
Latence
Le temps de réponse change tout le ressenti
Au-delà de quelques secondes, l'utilisateur décroche. On vise un premier mot rapide (streaming) et on évite les étapes inutiles.
Coût
On paie surtout au token
Le coût dépend du modèle, du nombre d'appels, des étapes d'un agent et de la longueur du contexte envoyé. Un contexte trop gros gonfle la facture.
Cache
Ne pas recalculer ce qui est déjà connu
Mettre en cache les réponses fréquentes (ou des préfixes de contexte) évite de tout refaire. Gain direct de latence et de coût sur les cas répétés.
Routage
Le bon modèle pour la bonne tâche
Un petit modèle pour classer ou trier, un grand pour rédiger ou raisonner. Router selon la difficulté optimise le triangle qualité / vitesse / coût.
Les questions que tu te poses peut-être
- Pourquoi des fois la machine répond tout de suite et des fois c'est long ?
- Quand elle connaît déjà la réponse, elle la sort vite de sa boîte. Quand la question est difficile, elle doit réfléchir plus longtemps, alors c'est un peu plus long.
- Est-ce que la machine se fatigue si je lui parle trop ?
- Non, elle ne se fatigue pas comme toi. Mais répondre lui demande du travail à chaque fois. C'est pour ça qu'elle garde les réponses déjà connues de côté, pour aller plus vite.
- C'est mieux d'avoir la plus grosse machine ?
- Pas toujours ! Une petite machine rapide suffit très bien pour les questions faciles. La grosse, on la sort seulement quand c'est vraiment compliqué.
Questions fréquentes
- C'est quoi la latence ?
- Le temps que met le système à répondre. Trop long, et l'utilisateur décroche.
- Pourquoi un long contexte coûte-t-il cher ?
- Parce qu'on paie surtout au token : plus on envoie de contexte, plus il y a de tokens à traiter à chaque réponse.
- À quoi sert le cache ?
- À réutiliser des réponses (ou des morceaux de contexte) déjà calculés, pour répondre plus vite et moins cher sur les cas répétés.
- Faut-il toujours le modèle le plus puissant ?
- Non. On route : un petit modèle rapide pour les tâches simples, un grand seulement quand la difficulté le justifie.
Pour continuer
-
Lis l'histoire en BD, c'est plus rigoloCette notion existe aussi en BDCette notion existe aussi en BD La facture qui a mangé le budget - Fiche à suivre Évaluations et fiabilité Parce qu'un système rapide mais peu fiable détruit la confiance.
- Fiche à suivre Dense vs mixture-of-experts Pour comprendre d'où viennent une partie des coûts de calcul.
- Fiche à suivre Fine-tuning et alignement Pour adapter un modèle plus léger à un usage précis.
SourcesSourcesSources vérifiées