Definition - Definition
Fenetre de contexte
La fenetre de contexte est la quantite maximale de texte, mesuree en tokens, qu'un modele de langage peut prendre en compte en une seule fois: consigne, historique de la conversation, documents fournis et reponse en cours. Au-dela, les informations ne sont plus visibles du modele et doivent etre resumees ou retrouvees autrement.
Definition
Tokens et taille de fenetre
Un modele ne lit pas des mots mais des tokens, des fragments de texte. En francais, un token represente en moyenne un peu moins d'un mot. La taille de la fenetre varie fortement selon les modeles et evolue vite: de quelques milliers a plusieurs centaines de milliers de tokens, voire davantage. Verifiez toujours la valeur annoncee par le fournisseur du modele que vous utilisez.
Tout ce qui est envoye au modele compte dans la fenetre, y compris les instructions invisibles pour l'utilisateur et les resultats des outils appeles par un agent.
Definition
Une grande fenetre ne remplace pas la memoire
Meme avec une grande fenetre, plus le contexte est charge, plus le cout et le temps de reponse augmentent, et plus le modele peut passer a cote d'une information placee au milieu d'un long texte. De plus, la fenetre se vide a chaque nouvelle conversation: le modele n'a aucun souvenir durable par lui-meme.
La memoire d'un assistant est donc une fonction ajoutee par le produit: il conserve des faits utiles (preferences, contexte de projet) et les reinjecte quand c'est pertinent.
Definition
Fenetre de contexte, RAG et documents volumineux
Pour travailler sur une base documentaire qui depasse la fenetre, on utilise la recherche augmentee (RAG): le systeme retrouve les passages les plus pertinents et ne les envoie au modele que s'ils sont utiles. C'est plus econome et permet de citer ses sources.
Pour un document unique volumineux, deux approches existent: le decouper et le resumer par parties, ou l'envoyer entier a un modele a grande fenetre si la precision et le cout le permettent.
Definition
Bonnes pratiques
Donner au modele uniquement ce dont il a besoin, structurer les consignes, demander des citations des passages utilises et ouvrir une nouvelle conversation quand le sujet change. Pour les equipes, une memoire et un acces aux documents geres par le produit evitent de rappeler le contexte a chaque fois.
Pages liees
Appliquer le concept dans un vrai support client.
Explorer le glossaire
Arretez de repeter le contexte a votre IA.
Decouvrez la memoire et la gestion des documents de l'espace IA d'equipe Octobot.
Questions frequentes
Fenetre de contexte en pratique
Qu'est-ce qu'un token ?
Un token est un fragment de texte, mot entier ou partie de mot, utilise comme unite de lecture par un modele de langage. La fenetre de contexte et le cout d'usage se mesurent en tokens.
Une grande fenetre de contexte suffit-elle pour traiter tous mes documents ?
Pas toujours. Le cout et le temps de reponse augmentent avec le contexte, et la precision peut baisser sur de tres longs textes. Pour une base documentaire, la recherche augmentee (RAG) reste souvent plus adaptee.
Pourquoi l'IA oublie-t-elle ce que je lui ai dit hier ?
Parce que la fenetre de contexte se limite a la conversation en cours. La memoire entre sessions est une fonction ajoutee par le produit, qui conserve des informations et les reinjecte quand elles sont utiles.