Une devinettePour commencerCas d'ouverture
Réfléchis une secondeEssaie de répondrePosez votre intuition
Si tu devais écrire une histoire en ajoutant une seule petite brique de mot à la fois, comment saurais-tu laquelle choisir ?
Pense à ta réponse, même si tu n'es pas sûr. La suite te dira si tu avais vu juste.
Ton clavier devine le mot suivant quand tu écris un message. Que se passerait-il s'il devait deviner des milliers de mots d'affilée ?
Prends dix secondes pour répondre dans ta tête. Tu compareras avec la suite.
Une conversation très longue avec un assistant devient plus lente et plus chère. Qu'est-ce qui, techniquement, grossit à chaque message ?
Formulez d'abord votre réponse, même approximative : la comparer à la suite fixe bien mieux les acquis.
Regarde ça bougerVois-le en actionLe concept en mouvement
Regarde une phrase se découper en tokens, puis se générer
Un LLM ne lit pas des mots : il manipule des tokens. Suis le découpage (parfois en bouts de mots), puis la génération token par token.
Lesoleilse?
On va deviner la suite, token après token.
C'est comme construire une phrase avec des petites briques de Lego plus petites que les mots.
C'est comme assembler un texte avec des Lego plus petits que les mots, brique après brique.
C'est un jeu de construction de phrases avec des briques plus petites que les mots.
Comment ça marcheComment ça marcheLa mécanique
Une étape à la foisLe mécanisme, étape par étapeLe mécanisme, étape par étape
Des petits bouts de phrase, comme des Lego
La machine coupe ta phrase en tout petits bouts.
Un bout peut être un mot, un demi-mot ou un point.
Elle regarde les bouts déjà là et devine le prochain.
Elle ajoute le bout, puis recommence, encore et encore.
Le texte découpé en petits bouts
Ton message est découpé en petits fragments appelés tokens (mot, bout de mot ou signe).
Chaque fragment devient une suite de chiffres que la machine sait calculer.
Le modèle relit tout ce qui précède, puis choisit le prochain token le plus logique.
Il répète l'opération token par token jusqu'à former la réponse complète.
Pourquoi l'IA écrit mot après mot
Votre texte est découpé en tokens : selon les mots, un token vaut un mot entier, un bout de mot ou un signe.
Chaque token est converti en représentation numérique (un vecteur) pour permettre le calcul.
Le modèle lit tout le contexte déjà présent, puis estime le token suivant le plus plausible.
Il répète cette boucle token par token jusqu'à produire la réponse complète.
Des exemples pour toiDes exemples concretsExemples concrets
Tu l'as déjà croiséOù tu le retrouvesOù vous le retrouvez en situation
Un exemple pour toi
C'est comme construire une phrase avec des briques de Lego. Tu poses une brique, puis une autre, puis encore une autre. La machine fait pareil : elle pose un petit bout, puis le suivant, et la phrase grandit petit à petit.
Finir une histoire que tu as commencée avant le coucher.
Écrire une jolie carte d'anniversaire pour ton copain.
Redire ta blague préférée avec d'autres petits mots rigolos.
Cas concret
Tu demandes à un chatbot de t'écrire une bio Insta stylée. Il ne « comprend » pas ta personnalité : il enchaîne les tokens qui vont souvent bien ensemble dans ce style. Pareil quand l'autocomplétion de ton clavier devine le mot suivant, mais en beaucoup plus puissant.
Compléter une légende Insta que tu as commencée.
Générer un résumé de cours ou un bout de code pour ton projet.
Reformuler ton message dans un autre ton, plus sérieux ou plus drôle.
Cas concret
Vous demandez à un assistant de reformuler un e-mail client sur un ton plus diplomate. Il ne « comprend » pas votre intention : il enchaîne les tokens qui collent le mieux au ton demandé d'après ce qu'il a appris. Résultat souvent bluffant, mais à relire avant d'envoyer.
Rédiger ou compléter un e-mail professionnel à partir de quelques mots.
Générer un compte rendu de réunion ou un extrait de code.
Reformuler un texte dans un autre ton, plus formel ou plus direct.
Attention aux piègesÀ éviterÀ éviter
Ce qu'on croit, et ce qui est vraiIdées reçues et pièges à éviterIdées reçues et risques à anticiper
-
On croit que
On croit que la machine lit la phrase comme toi.
En vrai
En vrai elle la coupe en bouts et devine le prochain.
-
On croit que
On croit qu'un bout, c'est toujours un mot entier.
En vrai
En vrai un mot rare ou un petit dessin peut être coupé en plusieurs.
-
On croit que
On croit que si c'est bien écrit, c'est vrai.
En vrai
En vrai une jolie phrase peut raconter une bêtise.
Les pièges à retenir
- Couper en petits bouts, c'est bizarre pour nous, pas pour la machine.
- Elle peut écrire très joliment et se tromper quand même.
- Si la phrase est très longue, elle doit relire plein de bouts.
-
On croit que
« L'IA lit mes phrases comme moi. »
En réalité
Non : elle les coupe en tokens et prédit le suivant, sans comprendre le sens comme toi.
-
On croit que
« Un token, c'est un mot. »
En réalité
Pas toujours : un mot rare, un emoji ou une date peuvent être coupés en plusieurs tokens.
-
On croit que
« Si ça sonne juste, c'est vrai. »
En réalité
La fluidité vient de la prédiction, pas de la vérité : vérifie toujours.
Les pièges à retenir
- Le découpage en tokens n'a rien d'intuitif pour un humain.
- Le texte peut paraître parfait et contenir une erreur très crédible.
- Une longue conversation coûte plus cher car il faut relire tous les tokens.
-
Idée reçue
« Le modèle lit et comprend les phrases comme nous. »
Réalité
Non : il découpe le texte en tokens et prédit le suivant ; il ne « comprend » pas le sens comme un humain.
-
Idée reçue
« Un token, c'est un mot. »
Réalité
Pas toujours : un mot courant tient en un token, mais un mot rare, un emoji ou une date peuvent être coupés en plusieurs.
-
Idée reçue
« Si le texte est fluide, c'est qu'il est vrai. »
Réalité
Faux : la fluidité vient de la prédiction de tokens, elle ne garantit pas l'exactitude.
Points de vigilance
- Le découpage en tokens n'est pas intuitif pour un humain et explique certains comportements étranges.
- Le modèle peut produire un texte très fluide tout en restant faux.
- Plus le contexte est long, plus le calcul peut coûter cher (en tokens, en latence).
Ce que je retiensÀ retenirÀ retenir
L'essentiel, en quatre idéesL'essentiel, en quatre idéesL'essentiel, en quatre points
La phrase à garder
La machine écrit petit bout par petit bout, elle ne pense pas comme toi.
- Des petits bouts La machine coupe la phrase en mini-morceaux.
- Un bout après l'autre Elle devine le prochain bout, puis recommence.
- Joli n'est pas vrai Une belle phrase peut quand même se tromper.
- Long fatigue Plus tu écris long, plus elle a de bouts à relire.
La phrase à garder
Un LLM prédit le prochain token : il ne « comprend » pas vraiment, il devine la suite la plus probable.
- Token = fragment Un mot, un bout de mot ou un signe, pas forcément un mot entier.
- Token par token Il prédit le suivant, l'ajoute, recommence.
- Fluide ≠ vrai Une réponse bien tournée peut être fausse.
- Contexte = coût Plus le fil est long, plus il y a de tokens à traiter.
Message clé
Un LLM produit du texte en prédisant des tokens, pas en pensant comme un rédacteur humain.
- Le LLM manipule des tokens Des fragments de texte, pas des mots avec leur sens.
- Génération token par token Il prédit le suivant, l'ajoute, puis recommence.
- Fluide ≠ vrai Un texte impeccable peut contenir une erreur très plausible.
- Le contexte a un coût Plus l'historique est long, plus il y a de tokens à traiter.
Je m'entraîneJe valideÉvaluation
Je teste ce que j'ai comprisJe teste ce que j'ai comprisValidez vos acquis
Valider : Tokens et grands modèles de langage
4 questions. Il faut 70 % de bonnes réponses pour maîtriser la fiche. Tu as le droit de te tromper et de réessayer.
Pour les curieuxPour aller plus loinPour aller plus loin
Si tu veux en savoir plusCreuser le sujetApprofondir et poursuivre
Sous le capot, pour les curieux
Les morceaux
Un petit bout, ce n'est pas toujours un mot entier
Imagine que tu casses un mot comme tu casses une tablette de chocolat. Parfois un mot tient en un seul carré. Mais un mot rare, un emoji ou une date, c'est comme un gros morceau : il faut le casser en plusieurs petits bouts. Le modèle, lui, joue tout le temps avec ces petits bouts.
Les chiffres-codes
Chaque petit bout devient un code en chiffres
Le modèle ne voit pas le mot « bonjour » comme toi. Pour lui, c'est trop compliqué ! Alors il transforme chaque petit bout en un paquet de chiffres, un peu comme un numéro secret. Avec ces numéros, il peut ranger les bouts et savoir lesquels se ressemblent.
Il relit tout
Le modèle regarde toujours ce qui est déjà écrit
Avant de choisir le prochain petit bout, le modèle relit tout ce qui vient avant, comme quand tu te rappelles le début d'une histoire pour bien deviner la suite. Il regarde les mots déjà là et le ton avant de décider le morceau qui va le mieux ensuite.
Pas tous pareils
Deux robots-écrivains peuvent être très différents
Tous les modèles ne se ressemblent pas, comme deux peluches qui ont l'air pareilles mais ne font pas la même chose. L'un découpe les mots autrement, l'autre se souvient de plus de choses, un autre va plus vite. Dire « j'utilise une IA », c'est comme dire « j'ai un jouet » : on ne sait pas encore lequel !
Sous le capot
Tokenisation
Un token, ce n'est pas forcément un mot complet
Le modèle découpe ton texte en tokens (des fragments). Un mot courant comme « chat » peut tenir dans un seul token, mais un mot rare, un pseudo, un emoji ou une date sont souvent coupés en plusieurs morceaux. C'est ce qui explique le coût (tu paies au nombre de tokens), la limite de longueur d'une conversation, et certains bugs bizarres quand tu écris un truc inhabituel.
Vecteurs
Chaque token est transformé en liste de nombres
Le modèle ne manipule pas le mot « bonjour » comme tu le lis. Il lui donne d'abord un identifiant, puis un vecteur, c'est-à-dire une longue liste de nombres (comme des coordonnées GPS, mais en beaucoup plus de dimensions). Grâce à ces nombres, il peut calculer mathématiquement quels fragments sont proches ou éloignés les uns des autres.
Contexte
Le modèle relit en continu tout l'historique
Pour choisir le prochain token, le modèle ne devine pas au hasard : il prend en compte le contexte, c'est-à-dire tout ce qui précède (ta question, le ton, les consignes, le style, ce qu'il a déjà écrit). C'est un peu comme l'autocomplétion de ton clavier, mais qui tiendrait compte de toute la conversation au lieu des deux derniers mots.
Comparaison
Deux LLM diffèrent par bien plus que leur nom
Comparer deux modèles, ce n'est pas comme comparer deux marques de téléphone juste sur le logo. Le tokenizer, la taille, la qualité des données d'entraînement, la fenêtre de contexte (combien il peut « se souvenir »), les outils dispos, la vitesse et le coût changent énormément. Dire « j'utilise un LLM » ne veut presque rien dire tant que tu ne précises pas lequel et pour quoi faire.
Sous le capot : les briques techniques
Tokenisation
Un token n'est pas toujours un mot entier
Selon le tokenizer, un mot courant peut tenir dans un seul token, tandis qu'un mot rare, un emoji, une date ou un mot technique peuvent être coupés en plusieurs morceaux. C'est important pour comprendre les coûts, les limites de contexte et certains comportements étranges.
Vecteurs
Chaque token devient une représentation numérique
Le modèle ne travaille pas avec le mot 'bonjour' comme toi tu le lis. Il le transforme en identifiant puis en vecteur, c'est-à-dire en paquet de nombres qui permet au système de le situer mathématiquement par rapport aux autres fragments.
Contexte
Le modèle relit en permanence ce qui a déjà été écrit
Un LLM ne choisit pas le prochain token sans regarder autour. Il tient compte de l'historique, du ton, des consignes, du style et des morceaux déjà produits pour calculer ce qui paraît cohérent ensuite.
Comparaison
Deux LLM peuvent différer par bien plus que leur nom
Tokenizer, taille, qualité des données, contexte maximal, outils disponibles, multimodalité, vitesse, alignement et coût changent beaucoup d'un modèle à l'autre. Dire 'j'utilise un LLM' ne dit presque rien sans préciser lequel et pour quel usage.
Les questions que tu te poses peut-être
- Est-ce que la machine comprend ce que je dis ?
- Pas comme toi. Elle range des petits bouts de mots et devine le suivant. Elle est très forte à ce jeu, mais elle ne pense pas dans sa tête comme un copain.
- Est-ce qu'elle peut se tromper ?
- Oui, ça arrive ! Elle peut écrire une jolie phrase qui est fausse. C'est comme une devinette : des fois on tombe juste, des fois non. Alors on vérifie avec un grand.
- Pourquoi elle écrit petit bout par petit bout ?
- Parce qu'elle pose un morceau, puis cherche le suivant, comme quand tu ajoutes une brique de Lego à la fois. C'est pour ça que sa phrase apparaît tout doucement.
Questions fréquentes
- C'est quoi un token, simplement ?
- Un petit morceau de texte que le modèle manipule : un mot, un bout de mot ou un signe. Le modèle calcule sur des tokens, pas sur des phrases entières.
- Pourquoi un assistant écrit-il mot après mot ?
- Parce qu'il génère token par token : il prédit le prochain morceau, l'ajoute, puis recommence l'opération.
- Un token, est-ce toujours un mot ?
- Non. Un mot courant peut tenir en un token ; un mot rare, un emoji ou une date peuvent être découpés en plusieurs tokens.
- Pourquoi les longues conversations coûtent-elles plus cher ?
- Parce que le modèle relit le contexte à chaque étape : plus l'historique est long, plus il y a de tokens à traiter.
Pour continuer
-
Lis l'histoire en BD, c'est plus rigoloCette notion existe aussi en BDCette notion existe aussi en BD Le tracteur à combien de R ? - Fiche à suivre Embeddings et vecteurs Pour voir comment ces tokens deviennent des points dans un espace de sens.
- Fiche à suivre RAG expliqué simplement Pour donner au modèle les bons documents au bon moment.
- Fiche à suivre Un modèle, c'est une recette mathématique Pour revoir ce qui calcule sous le capot (Niveau 1).
SourcesSourcesSources vérifiées