llms.txt, robots.txt en AI-crawlers uitgelegd
Voordat AI je bedrijf kan noemen, moet het je website kunnen lezen. Dat regel je met robots.txt, je beveiliging en eventueel een llms.txt-bestand. Hier lees je wat elk onderdeel doet en waar je op moet letten.
Wat zijn AI-crawlers?
Crawlers zijn programma's die websites bezoeken en lezen. Naast Googlebot en Bingbot zijn er nu crawlers van AI-bedrijven. Bekende voorbeelden zijn GPTBot en OAI-SearchBot van OpenAI, ClaudeBot van Anthropic en PerplexityBot van Perplexity. Sommige verzamelen data om modellen te trainen, andere halen actuele informatie op voor zoekantwoorden.
robots.txt: wie mag binnenkomen
In het bestand robots.txt in de hoofdmap van je website staat welke crawlers welke delen van je site mogen bezoeken. Eén verkeerde regel kan alle AI-crawlers buitensluiten. Andersom kun je bewust kiezen: wel zoek-crawlers toelaten, maar geen training-crawlers. Dat is een zakelijke afweging die we samen met je maken.
Beveiliging en hosting
Ook als robots.txt goed staat, kan een beveiligingsplugin, firewall of bot-bescherming van je hoster of CDN AI-crawlers blokkeren. Dat zie je niet in je browser, alleen door te testen als crawler of in je serverlogs.
Wat is llms.txt?
llms.txt is een voorstel uit 2024 voor een tekstbestand in de hoofdmap van je site, met een overzichtelijke samenvatting van je bedrijf en links naar je belangrijkste pagina's, speciaal voor AI-modellen. Het is nog geen officiële standaard en niet elk AI-platform gebruikt het. Het kost weinig moeite en kan helpen, daarom nemen we het mee, maar we beloven er geen wonderen van.
Wie er op je site langskomt
OAI-SearchBot en GPTBot
OpenAI. OAI-SearchBot voor zoekresultaten in ChatGPT, GPTBot voor het trainen van modellen.
PerplexityBot
Perplexity. Indexeert pagina's om ze als bron in antwoorden te kunnen tonen.
ClaudeBot
Anthropic. Verzamelt openbare webcontent voor de Claude-modellen.
Googlebot en Bingbot
De klassieke zoekmachines. Hun index voedt ook Google AI Overviews, Gemini en Copilot.
Goed om te weten
Is het veilig om AI-crawlers toe te laten?
Crawlers lezen alleen wat al openbaar op je site staat. Ze kunnen niet inloggen en niets aanpassen. Wel kun je per crawler kiezen of je je content voor training beschikbaar stelt.
Hoe zie ik of mijn site AI-crawlers blokkeert?
Bekijk je robots.txt via jouwdomein.nl/robots.txt. Blokkades door beveiliging of hosting zie je daar niet. In de gratis AI-check controleren we beide.
Moet iedere website een llms.txt hebben?
Het is geen must. Het is een kleine moeite met mogelijk voordeel. Belangrijker zijn een open robots.txt, goede structured data en heldere pagina's.
Kan AI jouw website eigenlijk wel lezen?
We controleren gratis of de belangrijkste AI-crawlers je site kunnen bezoeken, en wat ChatGPT en Gemini nu over je zeggen.
- 100% gratis
- Geen inloggegevens nodig
- Geen verplichtingen