Was sind Token? Bedeutung und Anwendungen
Autor: Redaktion Domeny.ForSale Veröffentlicht
Kurz erklärt: Ein Token ist eine Einheit, deren Bedeutung vom Kontext abhängt: In der künstlichen Intelligenz ist es ein Teil der verarbeiteten Daten, in Zugangssystemen weist es Berechtigungen nach, und bei Kryptowährungen kann es einen digitalen Vermögenswert oder ein Recht repräsentieren. Nicht jeder Token hat einen Preis, und nicht jeden kann man kaufen. Um zu verstehen, welcher Token gemeint ist, muss man prüfen, wo er vorkommt und wozu er dient.
Ein Wort, mehrere Bedeutungen
Ein „Token“ lässt sich als Zeichen oder Symbol verstehen, das für etwas anderes steht. Es bezeichnet jedoch weder einen bestimmten Dateityp noch eine einzige Technologie. Ein Token in der Antwort eines Chatbots und ein Token, das den Zugriff auf ein Konto ermöglicht, erfüllen völlig unterschiedliche Funktionen.
Am einfachsten lässt sich die Bedeutung aus dem Zusammenhang erkennen:
| Wo kommt der Token vor? | Was bedeutet er normalerweise? |
|---|---|
| Chatbot oder Preisliste eines AI-Modells | Eine Einheit des verarbeiteten Textes oder anderer Daten |
| Anmeldung oder Anbindung an einen Dienst | Ein digitaler Zugangsnachweis |
| Kryptowährungs-Wallet | Ein Vermögenswert oder eine Berechtigung, die in einem Blockchain-System gespeichert ist |
| Programmcode oder Beschreibung eines Compilers | Ein grundlegender Bestandteil des Codes |
All diese Anwendungen haben gemeinsam, dass Token Informationen repräsentieren. Ihre Funktionsweise unterscheidet sich jedoch. Die Anzahl der Token bei einem Dienst sollte man daher nicht ohne Weiteres mit der bei einem anderen vergleichen.
Token in AI: Textfragmente, nicht immer Wörter
Ein Sprachmodell verarbeitet Text, der in Token aufgeteilt wurde. Ein Token kann einem ganzen Wort, einem Wortteil, einem Satzzeichen oder einem Fragment mit einem Leerzeichen entsprechen. Die Aufteilung übernimmt ein Tokenizer: ein Mechanismus, der Text in Einheiten umwandelt, die das Modell erkennt.
Der polnische Satz „Lubię czerwone rowery“ („Ich mag rote Fahrräder“) besteht aus drei Wörtern, muss aber nicht drei Token ergeben. Die genaue Anzahl hängt vom Tokenizer ab: Ein Wort kann in mehrere Teile zerlegt werden. Polnische Wortformen, Programmcode und ungewöhnliche Symbole können ein anderes Verhältnis von Token zu Zeichen ergeben als einfacher englischer Text.
Token sind in zwei Bereichen praktisch relevant:
- Kontextkapazität: Das Kontextfenster begrenzt die Datenmenge, die das Modell bei einem Aufruf berücksichtigen kann. Je nach Dienst umfasst es Anweisungen, den Gesprächsverlauf, Dokumente, Ergebnisse von Werkzeugen und die generierte Antwort.
- Nutzungsabrechnung: Bei vielen API-Schnittstellen, über die Programme miteinander kommunizieren, hängen die Kosten von der Anzahl der verarbeiteten Token ab. Für Eingabe und Ausgabe können unterschiedliche Preise gelten.
Die Bitte um eine kurze Zusammenfassung eines langen Dokuments kann beispielsweise viele Eingabe-Token und wenige Ausgabe-Token verursachen. Eine kurze Antwort bedeutet also nicht automatisch einen geringen Verbrauch. Prüfe bei der Auswahl eines Dienstes in der offiziellen Modelldokumentation das aktuelle Kontextlimit, die Berechnung der Datenmenge und die Preise. Ein Chatbot-Abonnement wird nicht unbedingt genauso abgerechnet wie die Nutzung einer API.
Zugriffstoken: digitale Berechtigungsnachweise
Ein Zugriffstoken ist ein Wert, der einem Dienst als Nachweis übermittelt wird, dass eine bestimmte Anwendung oder ein Nutzer bestimmte Berechtigungen besitzt. Es kann beispielsweise erlauben, einen Kalender auszulesen, eine Datei herunterzuladen oder einen Beitrag zu veröffentlichen. Häufig sind seine Gültigkeitsdauer und sein Berechtigungsumfang begrenzt.
Ein Beispiel: Eine Anwendung zur Terminvereinbarung bittet um Zugriff auf den Kalender. Nach der Zustimmung kann sie ein Token erhalten, mit dem sie Termine auslesen kann, ohne das Kontopasswort zu kennen. Ob sie auch Termine ändern darf, hängt von den erteilten Berechtigungen ab.
Behandle Zugriffstoken als vertrauliche Informationen. In vielen Systemen kann eine Person, die ein solches Token erlangt, die erlaubten Aktionen ausführen, bis es abläuft oder widerrufen wird. Füge Token nicht in öffentliche Repositories, Screenshots oder Gespräche mit einem Chatbot ein.
Wird ein Token offengelegt, widerrufe es im Verwaltungsbereich des Dienstes, erstelle bei Bedarf ein neues und prüfe den Aktivitätsverlauf. Eine Passwortänderung allein macht bereits ausgegebene Token nicht in jedem System ungültig. Prüfe das erforderliche Vorgehen in der Dokumentation des Anbieters.
Krypto-Token: Ein Eintrag garantiert keinen Wert
In Blockchain-Systemen kann ein Token einen Vermögenswert, den Zugang zu einem Dienst, ein Stimmrecht in einem Projekt oder etwas anderes repräsentieren, das seine Urheber beschreiben. Eine Blockchain ist ein Datenregister, das ein Netzwerk von Computern nach gemeinsamen Regeln führt. Nach einer verbreiteten Unterscheidung ist ein Coin wie bitcoin der native Vermögenswert eines eigenen Netzwerks, während ein Token auf einer bestehenden Plattform funktioniert. Die Begriffe werden allerdings nicht völlig einheitlich verwendet.
Token können fungibel oder nicht fungibel sein. Die Einheiten eines fungiblen Tokens sind grundsätzlich gleichwertig und austauschbar. Ein NFT, also ein nicht fungibler Token, ermöglicht dagegen die eindeutige Kennzeichnung eines bestimmten Eintrags. Der Besitz eines NFT bedeutet nicht automatisch den Erwerb von Urheberrechten an dem damit verknüpften Bild oder Werk. Welche Rechte damit verbunden sind, hängt auch von den rechtlichen Bedingungen ab.
Technisch lässt sich ein Token erstellen, ohne ihm einen Nutzen, einen liquiden Markt oder eine verlässliche Absicherung zu geben. Prüfe vor dem Kauf, was du genau erhältst, wer das Projekt kontrolliert, welche Gebühren anfallen und ob sich der Token verkaufen lässt. Ein Eintrag in der Blockchain allein bestätigt nicht, dass die Versprechen des Herausgebers zutreffen. Dies sind allgemeine Informationen, keine individuelle Anlage- oder Rechtsberatung.
Token in der Programmierung und wie du den Kontext erkennst
Bei der Codeanalyse ist ein Token ein grundlegendes Element, das ein Werkzeug zur Verarbeitung eines Programms erkennt. Im Ausdruck suma = 2 + 3 können der Name suma, der Zuweisungsoperator, die Zahlen und das Pluszeichen Token sein. Diese Aufteilung hilft dabei, die Struktur einer Anweisung zu bestimmen. Sie hat weder mit einer Zahlung noch mit einer Kontoberechtigung zu tun.
Wenn du auf ein unklar beschriftetes Feld „Token“ stößt, lies die Beschreibung, bevor du einen Wert einfügst. Ein „Token-Limit“ bei einem Modell bezieht sich normalerweise auf die Datenmenge, „Token generieren“ im Verwaltungsbereich einer Integration auf den Zugriff und „Token senden“ in einer Wallet auf einen Vermögenswert. Der Kontext, nicht die Bezeichnung allein, sollte darüber entscheiden, was du als Nächstes tust.
Lesen Sie auch
