Het idee klinkt als het gedroomde antwoord op de transformatie van het web. Plaats een gestructureerd Markdown-bestand in de root-directory van een domein, en AI-systemen verwerken de content efficiënt zonder verstrikt te raken in zware HTML-code of navigatiemenu’s. De integratie van dit format in IT-architecturen werd door IT-bureaus en SEO-scanners massaal uitgeroepen tot de opvolger van de XML-sitemap. Grootschalig data-onderzoek van Ahrefs onder 137.000 domeinen laat zien dat 28% van de geanalyseerde websites zo’n bestand heeft geïmplementeerd. De harde realiteit is dat 97% van deze bestanden geen enkele AI-request ontvangt, met de helft van de resterende verzoeken afkomstig van beveiligingsscanners en profilers.
Bron: https://ahrefs.com/blog/llmstxt-study/
Het bestand staat onopgemerkt op de server. De oorzaak van het contrast tussen adoptie en gebruik ligt in een misverstand over de technologische bedoeling van het format. Toen Jeremy Howard van Answer.AI het format in september 2024 voorstelde, was het primaire doel niet om zoekmachines te bedienen. Het ging om het optimaliseren van context windows (het werkgeheugen van een AI-model waarin de invoer wordt verwerkt). Een reguliere webpagina bevat tot 80% aan ruis voor een AI-model. Denk aan headers, footers, JavaScript, cookiebanners en styling. Door documentatie om te zetten naar gestroomlijnde Markdown, besparen AI-coding-tools tokens en voorkomen ze dat het model verdwaalt.
Misverstanden op de werkvloer
Serverlogs tonen precies waar het verkeer naar de 3% wél gelezen bestanden vandaan komt. AI Coding Agents zoals Claude Code, Cursor en GitHub Copilot nemen 10,5% van de verzoeken voor hun rekening. Bots voor modeltraining pakken 5,3%. Live AI Search Bots, de systemen die daadwerkelijk antwoorden genereren bij zoekopdrachten op Perplexity of ChatGPT Search, vragen het bestand in slechts 1,1% van de gevallen op. John Mueller, Search Advocate bij Google, verduidelijkte dat zoekmachines geen gebruik maken van het bestand voor indexering of antwoordgeneratie. Liefst 21,7% van alle verzoeken is afkomstig van audit-tools en SEO-scanners die controleren of een site wel AI-ready is. De industrie controleert voornamelijk zichzelf, een klassiek geval van het warm water heruitvinden.
De verwarring werd gevoed door tegenstrijdige signalen uit de techsector. Het zoekteam van Google noemt het bestand overbodig, maar het Chrome-team voegde in Lighthouse wel een controle toe op de aanwezigheid ervan. Die automatische controle genereerde op duizenden servers de enige traffic die het bestand ooit zag.
Liefst 24,7% van het verkeer bestaat uit generieke webcrawlers die techstacks profileren. Scraper- en onderzoeksbots zijn goed voor 8,5%.
| Categorie verzoeken | Aandeel in verkeer | Doel van de bot |
| Generieke webcrawlers | 24,7% | Profileren van techstacks |
| SEO- en audit-tools | 21,7% | Controleren op GEO-readiness |
| AI Coding Agents | 10,5% | Inlezen van API-documentatie |
| Scraper- en onderzoeksbots | 8,5% | Verzamelen van data en veiligheidsaudits |
| Live AI Search | 1,1% | Antwoordgeneratie bij zoekopdrachten |
Juridische haken en ogen
Naast het gebrek aan effectiviteit brengt een ondoordachte adoptie risico’s met zich mee. Uitgevers veronderstellen soms dat het bestand fungeert als een licentieovereenkomst of een opt-outmechanisme voor scraping. In het kader van de EU AI Act en de Europese DSM Auteursrechtrichtlijn (de wetgeving rond het auteursrecht in de digitale eengemaakte markt) moeten rechthebbenden hun voorbehoud ten aanzien van Text and Data Mining (het geautomatiseerd analyseren van tekst en data) op een machinaal leesbare wijze kenbaar maken. Wie uitsluitend op een tekstbestandje vertrouwt om zijn intellectueel eigendom te beschermen, staat juridisch met lege handen en komt van een koude kermis thuis.
Doordat autonome agents de inhoud rechtstreeks in hun actieve geheugen laden, ontstaat een aanvalsoppervlak voor Indirect Prompt Injection (het manipuleren van een AI-model via verborgen instructies in externe data). Wanneer een systeem automatisch een bestand genereert op basis van gebruikersinvoer, kan een kwaadwillende instructies verbergen in de tekst. Zodra een agent het bestand uitleest, worden deze verborgen instructies uitgevoerd alsof ze afkomstig zijn van het systeem zelf.
SaaS-bedrijven en ontwikkelaarsplatforms met een open-source library hebben baat bij een strak gecureerd bestand voor ontwikkelaars. Voor klassieke e-commerce en nieuwsmedia is het handmatig onderhouden van het format tijdsverpilling. AI-zoekmachines crawlen de reguliere HTML of gebruiken gecachte indices. Onder de streep kunnen uitgevers hun tijd beter besteden aan gestructureerde data via Schema.org JSON-LD en semantische HTML, de standaarden die daadwerkelijk worden afgelezen door de algoritmes van vandaag. Althans, voor zover we nu weten.