Une devinettePour commencerCas d'ouverture
Réfléchis une secondeEssaie de répondrePosez votre intuition
Tu montres une photo de ton chien et tu demandes sa couleur. Comment la machine relie-t-elle l'image à ta question ?
Pense à ta réponse, même si tu n'es pas sûr. La suite te dira si tu avais vu juste.
Tu photographies un exercice de maths et tu écris « explique l'étape 2 ». Comment l'IA lit-elle les deux en même temps ?
Prends dix secondes pour répondre dans ta tête. Tu compareras avec la suite.
Vous photographiez une facture papier et demandez le total et la date. Quel chemin suivent l'image et votre consigne avant la réponse ?
Formulez d'abord votre réponse, même approximative : la comparer à la suite fixe bien mieux les acquis.
Regarde ça bougerVois-le en actionLe concept en mouvement
Regarde texte, image et son devenir des nombres comparables
Trois entrées différentes, tout en nombres, un espace commun, une réponse qui les combine. Même principe que pour le texte.
Trois matières différentes… mais le modèle va les traiter de la même façon.
C'est une machine qui change tes mots, tes images et tes sons dans la même langue : la langue des nombres.
C'est comme un traducteur universel : il met tes messages, tes photos et tes audios dans une seule langue, celle des nombres.
C'est un traducteur qui met les mots, les images et les sons dans une même langue : celle des nombres comparables.
Comment ça marcheComment ça marcheLa mécanique
Une étape à la foisLe mécanisme, étape par étapeLe mécanisme, étape par étape
Lire, voir ET écouter
La machine change tes mots, tes photos et tes sons en nombres.
Comme tout devient des nombres, elle peut les comparer.
Tu lui montres un dessin ET tu poses une question dessus.
Elle mélange tout et te répond.
Texte, image, son : tout devient des chiffres
La machine transforme chaque entrée séparément : le texte, l'image, le son.
Le texte devient des morceaux (tokens), l'image des petits carrés, le son des tranches.
Tout est converti en nombres rangés dans le même « espace ».
Comme c'est comparable, elle peut raisonner sur tout en même temps.
Une seule machine pour le texte, l'image et le son
Chaque modalité (texte, image, son) passe par son propre encodeur.
Texte → tokens, image → patchs, audio → tranches, puis tout devient des vecteurs.
Ces représentations sont projetées dans un espace commun où elles deviennent comparables.
Le modèle fusionne ces entrées pour produire une réponse qui tient compte de toutes.
Des exemples pour toiDes exemples concretsExemples concrets
Tu l'as déjà croiséOù tu le retrouvesOù vous le retrouvez en situation
Un exemple pour toi
Tu montres une photo de ton chien à la machine et tu lui demandes « il est où, mon chien ? ». Elle regarde l'image et écoute ta question en même temps. C'est comme quand tu montres ton dessin à la maîtresse et que tu lui poses une question dessus.
Tu montres la photo de ton chat et tu demandes : « il est de quelle couleur ? »
Tu lui fais écouter ta chanson préférée et elle écrit les paroles.
Tu lui montres ton coloriage et elle te dit ce qu'elle voit dessus.
Cas concret
Tu prends en photo un exercice de maths et tu écris « explique-moi l'étape 2 ». L'IA lit l'image ET ton message en même temps, parce que les deux sont devenus des chiffres comparables. Pareil quand tu balances un mémo vocal : elle le transcrit puis le résume.
Tu prends en photo un exercice de maths et tu demandes la correction.
Tu envoies une story et l'appli génère automatiquement les sous-titres.
Tu lui montres une capture d'écran d'un jeu et tu demandes comment passer le niveau.
Cas concret
Vous photographiez une facture papier et vous demandez « extrayez le total et la date ». Le modèle lit l'image et votre consigne ensemble pour répondre. Autre cas de bureau : vous déposez un mémo vocal de réunion, il le transcrit puis vous le résume en points d'action.
Photographier un ticket de caisse ou un graphique et demander un résumé chiffré.
Transcrire un mémo vocal de réunion puis en extraire les actions à mener.
Soumettre une capture d'écran d'erreur et demander un diagnostic.
Attention aux piègesÀ éviterÀ éviter
Ce qu'on croit, et ce qui est vraiIdées reçues et pièges à éviterIdées reçues et risques à anticiper
-
On croit que
On croit que la machine voit avec des yeux comme toi.
En vrai
En vrai, non. Elle change la photo en nombres, elle n'a pas d'yeux.
-
On croit que
On croit qu'elle est super forte avec tout : mots, photos, sons.
En vrai
En vrai, non. Elle peut être bonne avec les mots et se tromper sur une photo.
Les pièges à retenir
- Une photo floue, elle peut se tromper sur ce qu'il y a dessus.
- Montrer une image, ça fait beaucoup de travail pour la machine.
- Elle n'est pas la meilleure partout : parfois elle se trompe.
-
On croit que
« L'IA voit vraiment ton image comme toi. »
En réalité
Non. Elle transforme l'image en nombres et calcule des correspondances apprises, elle ne perçoit pas comme un humain.
-
On croit que
« Si elle gère plusieurs formats, elle est parfaite partout. »
En réalité
Faux. Elle peut être forte en texte et faible sur certaines images ou sons : chaque format se teste à part.
-
On croit que
« Joindre une photo, ça ne change rien. »
En réalité
Faux. Une image se traduit en énormément de tokens : elle remplit la mémoire et fait grimper le coût.
Les pièges à retenir
- Une image ou un audio coûtent cher : ça remplit vite la fenêtre de contexte.
- Une image floue, sombre ou ambiguë peut être mal interprétée.
- Multimodal ne veut pas dire bon partout : ça se mesure format par format.
-
Idée reçue
« Un modèle multimodal voit comme un humain. »
Réalité
Non. Il transforme l'image en nombres et calcule des correspondances apprises ; il ne perçoit pas le monde comme vous.
-
Idée reçue
« Multimodal = bon partout. »
Réalité
Faux. Il peut exceller en texte et faiblir sur certaines images ou sons : chaque modalité s'évalue séparément.
-
Idée reçue
« Joindre une image ne change rien au coût. »
Réalité
Faux. Une image se traduit en de nombreux tokens : elle remplit la fenêtre de contexte et augmente le coût.
Points de vigilance
- Une entrée riche (image, audio) coûte cher en tokens et sature vite le contexte.
- Le modèle peut mal interpréter une image ambiguë ou de mauvaise qualité.
- Multimodal ne signifie pas performant sur chaque modalité : cela se mesure.
Ce que je retiensÀ retenirÀ retenir
L'essentiel, en quatre idéesL'essentiel, en quatre idéesL'essentiel, en quatre points
La phrase à garder
Mots, photos, sons : la machine change tout en nombres, alors elle peut les mélanger.
- Tout en nombres Mots, dessins, sons deviennent des nombres.
- Elle compare Avec des nombres, elle peut tout comparer.
- Pareil que pour les mots Seule la chose que tu montres change.
- Une photo, c'est lourd Une image, ça fait beaucoup, beaucoup de nombres.
La phrase à garder
Le multimodal, c'est le même principe que pour le texte : tout devient des nombres comparables, alors on peut mélanger les entrées.
- Tout devient des nombres Texte, image, son sont transformés en représentations comparables.
- Un espace commun Tout est rangé au même endroit, donc tout se compare.
- Même logique Le principe ne change pas, juste le type d'entrée.
- Une image pèse lourd Photo et audio = beaucoup de tokens, donc plus coûteux.
Message clé
Le multimodal, c'est le même principe que le texte : tout est transformé en nombres comparables dans un espace commun, pour pouvoir mélanger les entrées.
- Tout devient des nombres Texte, image, son → représentations numériques comparables.
- Un espace commun La projection partagée permet de relier un mot à une image.
- Même principe Le calcul ne change pas, seul l'encodage en amont diffère.
- Riche = coûteux Images et audios pèsent lourd en tokens, le coût grimpe.
Je m'entraîneJe valideÉvaluation
Je teste ce que j'ai comprisJe teste ce que j'ai comprisValidez vos acquis
Valider : Le multimodal : texte, image, son
4 questions. Il faut 70 % de bonnes réponses pour maîtriser la fiche. Tu as le droit de te tromper et de réessayer.
Pour les curieuxPour aller plus loinPour aller plus loin
Si tu veux en savoir plusCreuser le sujetApprofondir et poursuivre
Sous le capot, pour les curieux
Traducteur
Chaque chose a son petit traducteur
Les mots, les images et les sons ne se ressemblent pas. Alors le modèle a un petit traducteur pour chacun. Un traducteur pour les mots, un qui découpe l'image en petits carrés comme un puzzle, et un qui coupe le son en petits bouts. Chaque traducteur transforme sa chose en nombres.
Même langue
Tout le monde parle la même langue
Une fois traduits, les mots, les images et les sons parlent tous la même langue : celle des nombres. C'est comme une cour de récré où tous les enfants parlent pareil : du coup le mot « chat » et la photo d'un chat peuvent se faire un câlin parce qu'ils se ressemblent en nombres.
Mélange
Il mélange tout pour répondre
Comme quand tu mélanges des couleurs pour faire une nouvelle couleur, le modèle mélange ta question « qu'est-ce que tu vois ? » avec la photo. En mélangeant les deux, il trouve la réponse et te raconte ce qu'il y a sur l'image.
Lourd
Une image, c'est super lourd à porter
Une image ou un son, ça fait ÉNORME de nombres, beaucoup plus qu'une petite phrase. C'est comme remplir ton cartable : avec plein d'images il devient lourd et trop plein très vite. Alors on ne lui montre que les photos vraiment utiles.
Sous le capot
Encodeurs
Un encodeur dédié par type d'entrée
Chaque type d'entrée a son propre traducteur, appelé encodeur. Le texte passe par un tokenizer (qui le découpe en morceaux), l'image par un encodeur visuel qui la découpe en patchs (petits carrés de pixels), et l'audio par un encodeur qui le tranche dans le temps. Chacun sort des nombres : des vecteurs.
Espace partagé
Tout se range dans le même espace
Les vecteurs des différentes modalités sont projetés dans un espace commun, un peu comme placer des points sur une même carte. Dans cet espace, le mot « voiture » et une photo de voiture tombent au même endroit. C'est ça qui permet de relier un texte à une image, comme une recherche d'image par mots-clés.
Fusion
Le modèle raisonne sur plusieurs entrées
Une fois tout comparable, le modèle fusionne les infos. Ta question texte « que vois-tu ? » et l'image se combinent dans le même calcul, exactement comme quand tu envoies un meme avec une légende : le sens vient du texte ET de l'image ensemble, pas de l'un sans l'autre.
Coût
Images et sons = beaucoup de tokens
Une image ou un audio se traduit en énormément de tokens (les unités que le modèle compte). La fenêtre de contexte, c'est sa mémoire de travail limitée : une seule photo peut la remplir comme une vidéo 4K remplit ta galerie. Plus tu envoies de tokens, plus c'est lent et cher, donc on n'envoie que l'utile.
Sous le capot : les briques techniques
Encodage
Chaque modalité a son encodeur
Le texte passe par un tokenizer, l'image par un encodeur visuel (patchs), l'audio par un encodeur de signal. Chacun produit des représentations numériques.
Espace commun
Tout se compare dans le même espace
Les représentations des différentes modalités sont projetées dans un espace partagé. C'est ce qui permet de relier un mot à une image, ou un son à un texte.
Fusion
Le modèle raisonne sur plusieurs entrées
Une fois tout comparable, le modèle peut fusionner les informations : la question texte « que vois-tu ? » et l'image se combinent pour produire une réponse.
Coût
Images et sons = beaucoup de tokens
Une image ou un audio se traduisent en de nombreux tokens. La fenêtre de contexte se remplit vite et le coût grimpe : on n'envoie que ce qui est utile.
Les questions que tu te poses peut-être
- Est-ce que la machine voit vraiment, avec des yeux ?
- Non ! Elle n'a pas d'yeux. Elle change la photo en plein de petits nombres et elle devine ce qu'il y a dessus. Un peu comme un jeu de devinettes.
- Est-ce qu'elle peut se tromper sur une image ?
- Oui, ça arrive ! Si la photo est floue ou bizarre, elle peut dire n'importe quoi. Comme toi quand tu vois mal une image et que tu te trompes.
- Elle peut écouter ma voix ?
- Oui, si tu lui parles, elle change ta voix en nombres pour comprendre. Mais elle ne t'entend pas comme un copain : elle ne fait que compter avec des nombres.
Questions fréquentes
- C'est quoi un modèle multimodal ?
- Un modèle qui peut prendre plusieurs types d'entrées (texte, image, son) en les transformant toutes en nombres comparables.
- Comment comprend-il une image ?
- Il découpe l'image en petits carrés (patchs), les convertit en nombres, puis les compare à ce qu'il a appris, comme pour le texte.
- Le multimodal voit-il vraiment ?
- Non. Il calcule des correspondances apprises sur des représentations numériques ; il ne perçoit pas le monde comme un humain.
- Pourquoi une image coûte-t-elle cher ?
- Parce qu'elle se traduit en de nombreux tokens : elle remplit vite la fenêtre de contexte et augmente le coût.
Pour continuer
-
Lis l'histoire en BD, c'est plus rigoloCette notion existe aussi en BDCette notion existe aussi en BD Le boss en visio qui n'était pas le boss - Fiche à suivre Tokens et grands modèles de langage Pour revoir comment une entrée devient des nombres.
- Fiche à suivre Embeddings et vecteurs Pour comprendre l'espace commun où tout se compare.
- Fiche à suivre Comment l'IA génère des vidéos Pour passer de comprendre une image à en générer (avec le temps).
- Fiche à suivre La voix : comprendre, parler, cloner Pour le son : transcrire, synthétiser et cloner une voix.
- Fiche à suivre Latence, coût et cache Parce que les entrées riches pèsent sur le coût (Niveau 3).
SourcesSourcesSources vérifiées