Comment optimiser l’utilisation des tokens dans les LLM

Les grands modèles de langage, ou LLM, traitent les textes sous forme de tokens plutôt que comme des mots complets. Chaque requête mobilise des tokens d’entrée pour les instructions et le contexte, puis des tokens de sortie pour la réponse générée. Leur quantité influence directement le coût, la vitesse de traitement et la capacité d’un modèle à conserver les informations pertinentes.

Elle ne consiste pas simplement à raccourcir tous les textes. L’objectif est de supprimer les éléments inutiles tout en préservant la précision, la cohérence et la valeur des réponses.

Comprendre ce qui consomme réellement des tokens

Un token peut correspondre à un mot, une partie de mot, un signe de ponctuation ou un espace, selon le système de découpage du modèle. Le nombre obtenu ne correspond donc pas exactement au nombre de mots.

La consommation totale comprend généralement le prompt système, les instructions de l’utilisateur, les documents ajoutés, l’historique de la conversation et la réponse. Dans une application conversationnelle, renvoyer l’intégralité des échanges à chaque requête augmente progressivement les coûts.

Il faut enfin distinguer la limite de contexte du tarif. La première détermine la quantité maximale de tokens que le modèle peut traiter au cours d’une requête. Le second dépend du fournisseur, du modèle ainsi que du volume de tokens en entrée et en sortie.

Concevoir des prompts plus courts sans perdre de précision

Un bon prompt ne doit pas être excessivement long pour être clair. Il doit surtout définir la tâche, les contraintes indispensables, le public visé et le format attendu.

Quelques pratiques permettent de réduire rapidement le volume sans appauvrir la demande :

remplacer plusieurs paragraphes d’instructions par des règles courtes et hiérarchisées ;
fournir un ou deux exemples représentatifs plutôt qu’une longue série ;
préciser une longueur maximale pour la réponse ;
demander uniquement les champs nécessaires dans les sorties structurées ;
retirer les documents ou passages sans rapport direct avec la requête.

Ces principes sont particulièrement utiles pour la création de contenus localisés. Une consigne consacrée à une page belge telle que casino Hitnspin peut se limiter au public francophone de Belgique, au ton souhaité et aux exigences réglementaires pertinentes.

Supprimer le contexte redondant avant chaque requête

L’historique complet d’une conversation est rarement nécessaire. Une application peut conserver les derniers échanges importants et remplacer les messages plus anciens par un résumé factuel. Cette méthode maintient les décisions, les préférences et les contraintes essentielles tout en réduisant la taille du prompt.

Pour un système utilisant des documents, la recherche sémantique permet de sélectionner uniquement les passages les plus pertinents.

Réduire l’historique et maîtriser les sorties générées

Une instruction comme « soyez détaillé » peut provoquer une sortie beaucoup plus longue que nécessaire. Il vaut mieux annoncer une limite approximative, imposer un nombre de sections ou demander une réponse directe suivie d’une brève justification.

Plusieurs leviers peuvent être combinés selon le type d’application. Le tableau suivant présente leur utilité ainsi que le principal point de vigilance associé.

Méthode	Gain recherché	Point de vigilance
Limite de sortie	Réduire les réponses trop longues	Éviter de couper une phrase ou une donnée
Résumé de l’historique	Diminuer les entrées répétées	Conserver les décisions importantes
Mise en cache	Réutiliser un contexte identique	Vérifier les conditions tarifaires du service
Modèle plus compact	Réduire coût et latence	Tester la qualité sur des tâches réelles

Le choix d’un modèle plus petit peut être pertinent pour la classification, l’extraction ou les réponses standardisées. Les modèles plus puissants peuvent alors être réservés aux raisonnements complexes.

Mesurer les gains sans dégrader la qualité des réponses

Une réduction de tokens n’est utile que si la qualité reste acceptable. Les équipes doivent suivre le nombre moyen de tokens par requête, le coût par opération, le temps de réponse et le taux de réussite.

Un jeu de tests représentatif est indispensable. Il doit inclure des requêtes simples, des cas ambigus, des textes en français de Belgique et des situations nécessitant davantage de contexte. Une évaluation humaine peut compléter les mesures automatiques afin de détecter les réponses incomplètes, peu naturelles ou factuellement incorrectes.

Il est également préférable de modifier un paramètre à la fois. Cette approche permet d’identifier si le gain provient du prompt raccourci, du résumé conversationnel, de la récupération documentaire ou du changement de modèle. Les économies deviennent ainsi mesurables et reproductibles.

Faire de la sobriété des tokens un avantage durable

L’optimisation des tokens repose sur trois principes : transmettre uniquement le contexte pertinent, contrôler la longueur des sorties et mesurer les résultats avec des cas réels.

Commencez par analyser les requêtes les plus fréquentes, puis retirez progressivement les répétitions et documents superflus. Comparez ensuite le coût, la latence et la qualité avant de déployer les changements à grande échelle. Partagez vos résultats avec les équipes concernées afin de transformer ces pratiques en règles durables pour chaque projet utilisant un LLM.