Wat zijn tokens en waarvoor gebruik je ze?
Auteur: Redactie Domeny.ForSale Gepubliceerd
In het kort: Een token is een eenheid waarvan de betekenis afhangt van de context: bij kunstmatige intelligentie is het een stukje verwerkte data, in toegangssystemen bevestigt het bevoegdheden en bij cryptovaluta kan het een digitaal bezit of recht vertegenwoordigen. Niet elk token heeft een prijs en niet elk token kun je kopen. Om te begrijpen om welk soort token het gaat, moet je nagaan waar het voorkomt en waarvoor het dient.
Eén woord, verschillende betekenissen
Een ‘token’ kun je zien als een teken of symbool dat iets anders vertegenwoordigt. Het is echter niet één specifiek bestandstype of één bepaalde technologie. Een token in het antwoord van een chatbot en een token dat toegang geeft tot een account hebben heel verschillende functies.
De context waarin het woord staat, maakt de betekenis meestal duidelijk:
| Waar komt het token voor? | Wat betekent het meestal? |
|---|---|
| Chatbot of prijslijst van een AI-model | Een eenheid verwerkte tekst of andere data |
| Inloggen of koppeling met een dienst | Een digitaal toegangsbewijs |
| Cryptowallet | Een bezit of bevoegdheid vastgelegd in een blockchainsysteem |
| Programmacode of beschrijving van een compiler | Een basiselement van de code |
Al deze toepassingen vertegenwoordigen informatie, maar ze werken op verschillende manieren. Je kunt het aantal tokens bij de ene dienst dus niet zomaar vergelijken met het aantal bij een andere.
Tokens in AI: stukjes tekst, niet altijd woorden
Een taalmodel verwerkt tekst die in tokens is opgedeeld. Een token kan een heel woord zijn, een deel ervan, een leesteken of een tekstfragment met een spatie. Een tokenizer maakt die verdeling: dit mechanisme zet tekst om in eenheden die het model herkent.
De Poolse zin ‘Lubię czerwone rowery’ (‘Ik houd van rode fietsen’) heeft drie woorden, maar niet noodzakelijk drie tokens. Het precieze aantal hangt af van de tokenizer: één woord kan in meerdere delen worden gesplitst. Poolse woordverbuigingen, programmacode en ongebruikelijke symbolen kunnen een andere verhouding tussen tokens en tekens opleveren dan eenvoudige Engelse tekst.
Tokens zijn in de praktijk op twee gebieden belangrijk:
- Contextcapaciteit: het contextvenster bepaalt hoeveel data het model bij één aanroep kan meenemen. Afhankelijk van de dienst vallen daar instructies, gespreksgeschiedenis, documenten, resultaten van tools en het gegenereerde antwoord onder.
- Gebruiksafrekening: bij veel API-interfaces, waarmee programma’s met elkaar communiceren, hangen de kosten af van het aantal verwerkte tokens. De tarieven voor invoer en uitvoer kunnen verschillen.
Een verzoek om een korte samenvatting van een lang document kan bijvoorbeeld veel invoertokens en weinig uitvoertokens opleveren. Een kort antwoord betekent dus niet dat het verbruik laag is. Controleer bij het kiezen van een dienst in de officiële modeldocumentatie de actuele contextlimiet, de manier waarop data worden geteld en de tarieven. Een chatbotabonnement wordt niet noodzakelijk op dezelfde manier afgerekend als een API.
Toegangstokens: digitale bewijzen van bevoegdheid
Een toegangstoken is een waarde die aan een dienst wordt doorgegeven als bewijs dat een bepaalde applicatie of gebruiker specifieke bevoegdheden heeft. Het kan bijvoorbeeld toestemming geven om een agenda te lezen, een bestand te downloaden of een bericht te publiceren. Vaak heeft het een beperkte geldigheidsduur en geldt het alleen voor bepaalde handelingen.
Een voorbeeld: een applicatie voor het plannen van afspraken vraagt toegang tot je agenda. Nadat je toestemming hebt gegeven, kan de applicatie een token ontvangen waarmee ze afspraken kan uitlezen, zonder het wachtwoord van je account te kennen. Of ze ook afspraken mag wijzigen, hangt af van de verleende bevoegdheden.
Behandel een toegangstoken als een geheim. In veel systemen kan iemand die het in handen krijgt de toegestane handelingen uitvoeren totdat het verloopt of wordt ingetrokken. Plaats tokens niet in openbare repositories, screenshots of gesprekken met een chatbot.
Als een token uitlekt, trek het dan in via het beheerpaneel van de dienst, genereer zo nodig een nieuw token en controleer de activiteitengeschiedenis. Alleen je wachtwoord wijzigen maakt eerder uitgegeven tokens niet in elk systeem ongeldig. Controleer in de documentatie van de aanbieder welke stappen je moet volgen.
Cryptotokens: een registratie garandeert geen waarde
In blockchainsystemen kan een token een bezit, toegang tot een dienst, stemrecht binnen een project of iets anders vertegenwoordigen dat de makers hebben omschreven. Een blockchain is een gegevensregister dat een netwerk van computers volgens gezamenlijke regels bijhoudt. Een veelgebruikt onderscheid is dat een munt, zoals bitcoin, het eigen digitale bezit van een netwerk is, terwijl een token op een bestaand platform werkt. De terminologie is echter niet volledig eenduidig.
Tokens kunnen onderling uitwisselbaar of niet-uitwisselbaar zijn. Eenheden van een uitwisselbaar token zijn in principe gelijkwaardig. Een NFT, een niet-uitwisselbaar token, maakt het daarentegen mogelijk een specifieke registratie te onderscheiden. Het bezit van een NFT betekent niet automatisch dat je auteursrechten verkrijgt op de bijbehorende afbeelding of het werk. Ook de juridische voorwaarden bepalen welke rechten je hebt.
Technisch kun je een token maken zonder dat het nuttig is, er een liquide markt voor bestaat of het door een betrouwbare zekerheid wordt gedekt. Controleer vóór aankoop wat je precies krijgt, wie het project beheert, welke kosten er zijn en of je het token kunt verkopen. Een registratie in de blockchain bewijst op zichzelf niet dat de beloften van de uitgever kloppen. Dit is algemene informatie, geen persoonlijk beleggingsadvies of juridisch advies.
Tokens bij programmeren en de context herkennen
Bij codeanalyse is een token een basiselement dat wordt herkend door een tool die het programma verwerkt. In suma = 2 + 3 kunnen de naam suma, de toewijzingsoperator, de getallen en het plusteken tokens zijn. Deze verdeling helpt om de structuur van een instructie vast te stellen en heeft niets te maken met een betaling of toegang tot een account.
Kom je een onduidelijk veld met het label ‘token’ tegen, lees dan de beschrijving voordat je er een waarde in plakt. Een ‘tokenlimiet’ bij een model gaat meestal over de hoeveelheid data, ‘token genereren’ in het beheerpaneel van een koppeling over toegang en ‘token versturen’ in een wallet over een bezit. Laat de context, niet alleen de naam, bepalen wat je vervolgens doet.
Lees ook
