Les tokens : sens, usages et précautions
Auteur : Rédaction Domeny.ForSale Publié le
En bref : Un token est une unité dont le sens dépend du contexte : en intelligence artificielle, c’est un fragment de données traitées ; dans les systèmes d’accès, il atteste des autorisations ; en cryptomonnaie, il peut représenter un actif numérique ou un droit. Tous les tokens n’ont pas un prix et tous ne peuvent pas être achetés. Pour comprendre de quel token il s’agit, il faut vérifier où il apparaît et à quoi il sert.
Un mot, plusieurs sens
Un « token » peut être compris comme un marqueur ou un symbole représentant autre chose. Il ne désigne toutefois ni un type de fichier précis ni une technologie unique. Un token dans la réponse d’un chatbot et un token donnant accès à un compte remplissent des fonctions totalement différentes.
Le plus simple est de repérer le contexte dans lequel le mot apparaît :
| Où le token apparaît-il ? | Que désigne-t-il généralement ? |
|---|---|
| Chatbot ou grille tarifaire d’un modèle AI | Une unité de texte ou d’autres données traitées |
| Connexion à un compte ou intégration avec un service | Un justificatif numérique d’accès |
| Portefeuille de cryptomonnaies | Un actif ou un droit enregistré dans un système blockchain |
| Code d’un programme ou description d’un compilateur | Un élément de base du code |
Ces usages ont en commun de représenter une information, mais leurs règles de fonctionnement diffèrent. Il ne faut donc pas comparer automatiquement le nombre de tokens d’un service à celui d’un autre.
Les tokens en AI : des fragments de texte, pas toujours des mots
Un modèle de langage traite le texte après son découpage en tokens. Un token peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou à un fragment contenant une espace. Ce découpage est effectué par un tokenizer, un mécanisme qui transforme le texte en unités reconnues par le modèle.
La phrase polonaise « Lubię czerwone rowery » (« J’aime les vélos rouges ») compte trois mots, mais pas nécessairement trois tokens. Leur nombre exact dépend du tokenizer : un seul mot peut être découpé en plusieurs parties. Les formes fléchies des mots polonais, le code informatique et les symboles inhabituels peuvent donner un rapport entre tokens et caractères différent de celui d’un texte anglais simple.
Les tokens ont une importance pratique dans deux domaines :
- Capacité du contexte : la fenêtre de contexte fixe la quantité maximale de données que le modèle peut prendre en compte lors d’un appel. Selon le service, elle comprend les instructions, l’historique de la conversation, les documents, les résultats des outils ainsi que la réponse générée.
- Facturation de l’utilisation : dans de nombreuses interfaces API, c’est-à-dire des mécanismes de communication entre programmes, le coût dépend du nombre de tokens traités. Les tarifs des tokens d’entrée et de sortie peuvent être différents.
Par exemple, demander un bref résumé d’un long document peut nécessiter beaucoup de tokens d’entrée et peu de tokens de sortie. Une réponse courte ne signifie donc pas une faible consommation. Pour choisir un service, consultez la documentation officielle du modèle afin de vérifier la limite de contexte actuelle, la méthode de comptage des données et les tarifs ; un abonnement à un chatbot n’est pas nécessairement facturé de la même manière qu’une API.
Les tokens d’accès : des justificatifs numériques d’autorisation
Un token d’accès est une valeur transmise à un service pour prouver qu’une application ou un utilisateur dispose de certaines autorisations. Il peut, par exemple, permettre de consulter un calendrier, de télécharger un fichier ou de publier un message. Sa durée de validité et son périmètre d’action sont souvent limités.
Par exemple, une application de prise de rendez-vous demande l’accès à un calendrier. Une fois le consentement donné, elle peut recevoir un token permettant de consulter les rendez-vous sans connaître le mot de passe du compte. La possibilité de modifier aussi les événements dépend des autorisations accordées.
Gardez votre token d’accès secret. Dans de nombreux systèmes, une personne qui s’en empare peut effectuer les opérations autorisées jusqu’à son expiration ou sa révocation. Ne copiez pas de tokens dans des dépôts publics, des captures d’écran ou des conversations avec un chatbot.
Si un token est divulgué, révoquez-le depuis le panneau de gestion du service, générez-en un nouveau si nécessaire et vérifiez l’historique d’activité. Un simple changement de mot de passe ne révoque pas les tokens déjà émis dans tous les systèmes. Vérifiez la procédure à suivre dans la documentation du fournisseur.
Les tokens de cryptomonnaie : un enregistrement ne garantit pas une valeur
Dans les systèmes blockchain, un token peut représenter un actif, l’accès à un service, un droit de vote dans un projet ou un autre élément défini par ses créateurs. Une blockchain est un registre de données tenu par un réseau d’ordinateurs selon des règles communes. Selon une distinction courante, une monnaie telle que bitcoin est l’actif natif de son propre réseau, tandis qu’un token fonctionne sur une plateforme existante ; la terminologie n’est toutefois pas totalement uniforme.
Les tokens peuvent être fongibles ou non fongibles. Les unités d’un token fongible sont, par principe, équivalentes, tandis qu’un NFT, c’est-à-dire un token non fongible, permet de distinguer un enregistrement particulier. Posséder un NFT ne signifie pas acquérir automatiquement les droits d’auteur sur l’image ou l’œuvre associée : les droits dépendent aussi des conditions juridiques applicables.
Il est techniquement possible de créer un token sans lui assurer une utilité, un marché liquide ou des garanties fiables. Avant d’en acheter un, vérifiez ce que vous obtenez exactement, qui contrôle le projet, quels sont les frais et si le token peut être revendu. Son enregistrement dans une blockchain ne confirme pas la véracité des promesses de l’émetteur. Il s’agit ici d’informations générales, et non de conseils personnalisés en investissement ou en droit.
Les tokens en programmation et comment reconnaître le contexte
Lors de l’analyse du code, un token est un élément de base reconnu par l’outil qui traite le programme. Dans l’expression suma = 2 + 3, les tokens peuvent être le nom suma, l’opérateur d’affectation, les nombres et le signe d’addition. Ce découpage aide à déterminer la structure de l’instruction et ne représente ni un paiement ni une autorisation d’accès à un compte.
Si vous rencontrez un champ « token » dont le sens n’est pas clair, lisez sa description avant d’y coller une valeur. Pour un modèle, la « limite de tokens » concerne généralement la quantité de données ; dans un panneau d’intégration, « générer un token » concerne l’accès ; dans un portefeuille, « envoyer un token » concerne un actif. C’est le contexte, et non le seul nom, qui doit déterminer la suite à donner.
À lire aussi
