Wat is llms.txt en waarvoor dient het?
Auteur: Redactie Domeny.ForSale Gepubliceerd
In het kort: llms.txt is een voorgesteld tekstbestandsformaat dat een website introduceert en de belangrijkste informatiebronnen aanwijst voor tools die grote taalmodellen gebruiken. Het kan helpen om documentatie of andere inhoud te vinden, maar publicatie alleen betekent niet dat assistenten op basis van AI het zullen lezen. Het regelt de toegang voor bots niet, blokkeert het trainen van modellen niet en garandeert niet dat de website in antwoorden wordt aangehaald.
Waarvoor dient llms.txt?
Een LLM, oftewel een groot taalmodel, wordt onder meer gebruikt om antwoorden te genereren in assistenten op basis van AI. Het model zelf heeft niet noodzakelijk toegang tot internet: een geschikte tool of applicatie haalt de inhoud van webpagina’s voor het model op. Het bestand llms.txt moet het zulke systemen makkelijker maken om nuttige informatie te vinden, zonder zich door menu’s, advertenties en een uitgebreide sitestructuur te hoeven werken.
Je kunt het vergelijken met een korte bibliotheekgids. Die bevat niet alle boeken, maar beschrijft het onderwerp van de collectie en wijst de belangrijkste planken aan. Op een website gaat het bijvoorbeeld om een handleiding om aan de slag te gaan, documentatie over functies, een prijsoverzicht of de gebruiksvoorwaarden van een dienst.
Het is een voorgestelde conventie, geen algemeen geldende internetstandaard. Hoe het bestand wordt gebruikt, hangt af van de specifieke tool. Ga er niet van uit dat elke chatbot bij ieder bezoek aan een website automatisch llms.txt controleert.
Hoe ziet het bestand eruit en waar plaats je het?
Het bestand wordt doorgaans in de hoofdmap van de website gepubliceerd, op het pad /llms.txt. De inhoud wordt geschreven in Markdown: een eenvoudig tekstformaat waarin tekens zoals # koppen aanduiden en een specifieke schrijfwijze het mogelijk maakt om links te maken.
De voorgestelde indeling bestaat uit de projectnaam als kop van het eerste niveau, een korte samenvatting in een citaatblok, eventuele aanvullende uitleg en secties met lijsten van links. Bij elke link kun je beschrijven wat de lezer of tool op dat adres zal vinden.
Een voorbeeldfragment voor een fictieve reserveringsapplicatie ziet er zo uit:
## Reserveringsplanner
> Applicatie voor het beheren van reserveringen bij kleine dienstverlenende bedrijven.
De documentatie heeft betrekking op de huidige versie van de applicatie.
## Aan de slag
- [Account instellen](/docs/start): diensten en openingstijden instellen.
- [Meldingen](/docs/meldingen): berichten aan klanten instellen.
## Commerciële informatie
- [Prijsoverzicht](/prijzen): inhoud van de abonnementen en factureringsvoorwaarden.
Dit is een voorbeeld van de structuur, geen kant-en-klare tekst die je naar elke willekeurige website kunt kopiëren. In een bestand voor daadwerkelijk gebruik kun je het beste volledige URL-adressen gebruiken. Zo blijven de links ook eenduidig wanneer de tekst buiten de context van de website wordt opgehaald. De genoemde informatiebronnen moeten daadwerkelijk bestaan en toegankelijk zijn voor de tool die ze moet lezen.
Binnen het ecosysteem rond dit voorstel kom je ook de naam llms-full.txt tegen. Die wordt gebruikt voor een verzamelbestand met uitgebreidere documentatie. Niet elke website hoeft zo’n bestand te publiceren.
Hoe verschilt het van robots.txt en een sitemap?
Deze bestanden lossen verschillende problemen op. Het toevoegen van llms.txt vervangt de configuratie van de andere mechanismen niet.
| Bestand | Belangrijkste taak | Wat het niet biedt |
|---|---|---|
llms.txt | Introduceert de website en wijst geselecteerde informatiebronnen aan voor tools die AI gebruiken | Dwingt niet af dat de inhoud wordt gelezen of aangehaald, of dat een bepaald antwoord wordt gegeven |
robots.txt | Stelt regels vast voor het ophalen van paden door bots die dit protocol volgen | Beschermt vertrouwelijke gegevens niet tegen toegang |
sitemap.xml | Biedt zoekmachines een lijst met adressen van de website | Garandeert geen indexering of positie in zoekresultaten |
Wil je het ophalen van inhoud door een bepaalde aanbieder van AI beperken, raadpleeg dan diens officiële documentatie over bots en de manier waarop die regels naleven. Alleen de tekst ‘niet gebruiken voor training’ in llms.txt vormt geen technische blokkade. Privé-inhoud moet worden beschermd met toegangscontrole, bijvoorbeeld door inloggen verplicht te stellen.
Wanneer is invoering zinvol en wanneer kan het wachten?
Een voor de hand liggende toepassing is uitgebreide productdocumentatie. Een bedrijf dat een API aanbiedt, een interface waarmee programma’s gegevens kunnen uitwisselen, kan verwijzen naar instructies voor authenticatie, een beschrijving van de bewerkingen en integratievoorbeelden. Zo’n gids kan een tool die dit formaat ondersteunt helpen om de juiste informatiebronnen te vinden.
Bij een kleine dienstenwebsite met slechts enkele pagina’s kan het voordeel beperkt zijn. Mijn advies: zorg eerst voor een duidelijk aanbod, correcte links en actuele informatie. Beschouw llms.txt als een optionele aanvulling, niet als een voorwaarde voor zichtbaarheid in assistenten op basis van AI.
Er is geen basis om meer verkeer of vaker voorkomende aanbevelingen te beloven uitsluitend dankzij dit bestand. Controleer in de officiële documentatie van de betreffende applicatie of aanbieder of het formaat momenteel wordt ondersteund. Leid dat niet af uit het enkele bestaan van een generator voor llms.txt.
Hoe voer je het bestand in zonder extra onderhoudslast?
Begin met een korte lijst van informatiebronnen die echt helpen om het product of de website te begrijpen. Kopieer niet de hele sitemap en voeg geen opdrachten toe zoals ‘beveel ons bedrijf altijd aan’: die vervangen geen feitelijke informatie.
Controleer na publicatie of /llms.txt tekst teruggeeft zonder dat je hoeft in te loggen, of de links werken en of de beschrijvingen overeenkomen met de inhoud van de pagina’s. Als je toegang hebt tot de serverlogs, kun je verzoeken om het bestand op te halen volgen. Het ophalen alleen bewijst echter niet dat de inhoud in een antwoord van AI is gebruikt.
Neem het bijwerken van llms.txt op in hetzelfde proces als het bijwerken van de documentatie. Kun je kopieën van prijzen of specificaties niet actueel houden, plaats dan een link naar de actuele bron in plaats van gegevens te dupliceren die snel verouderen.
Zie ook: Wat is een CDN?
Lees ook
