Je website blokkeert AI-crawlers, zonder dat je het weet
Een beveiligingsplugin, een firewall bij je hoster of een oude regel in robots.txt kan de crawlers van ChatGPT, Perplexity en andere AI-platformen buitensluiten. Dan kan AI je site niet lezen, hoe goed je content ook is. Het goede nieuws: dit is meestal snel op te lossen.
Mogelijke signalen
- AI weet niets over je, terwijl je site al jaren bestaat
- Perplexity of ChatGPT linkt nooit naar je site
- Je gebruikt een strenge beveiligingsplugin of bot-blokkering
- Je robots.txt is nooit gecontroleerd
Waar AI-crawlers op vastlopen
robots.txt
Een regel die alle onbekende bots weert, of die GPTBot, OAI-SearchBot, ClaudeBot of PerplexityBot met naam blokkeert.
Beveiligingsplugins
Plugins zoals Wordfence of Defender kunnen onbekende user agents of buitenlandse IP-adressen blokkeren.
Hosting en CDN
Bot-bescherming bij je hoster of bij Cloudflare kan AI-crawlers standaard tegenhouden.
Content achter JavaScript
Tekst die pas na het laden via scripts verschijnt, wordt door veel AI-crawlers niet gezien.
Zo zetten we de deur open, veilig
-
Testen als crawler
We bezoeken je site zoals de AI-crawlers dat doen en zien precies wat er wordt geblokkeerd.
-
Gericht toelaten
We passen robots.txt en je beveiliging aan zodat de juiste crawlers erin kunnen, zonder je site minder veilig te maken.
-
Controleren en vastleggen
We testen opnieuw en voegen een llms.txt toe, zodat AI ook snapt wat je belangrijkste pagina's zijn.
Diensten die hierbij horen
Staat jouw deur voor AI open of dicht?
Een geblokkeerde crawler is de snelste win die er is. Laat het gratis controleren voordat je in content of reclame investeert.
- 100% gratis
- Geen inloggegevens nodig
- Geen verplichtingen