De vraag komt steeds vaker van klanten: "Moet ik die AI-bots blokkeren?" Mijn antwoord is bijna altijd nee, maar dat is geen wet. Wie zijn brood verdient met de teksten zelf, denkt er anders over dan wie zijn brood verdient met de klanten die via die teksten binnenkomen. Eerst de feiten, dan de afweging.
Welke AI-crawlers er zijn
Dit zijn de bots die op dit moment het meest voorkomen in logbestanden van Nederlandse MKB-sites. De naam is de "user-agent" waarmee ze zich melden.
- GPTBot (OpenAI): verzamelt tekst om modellen te trainen. Blokkeer je deze, dan leert een volgend ChatGPT-model niets nieuws van je site.
- OAI-SearchBot (OpenAI): wordt gebruikt voor de live zoekfunctie van ChatGPT. Blokkeren betekent dat ChatGPT je pagina's niet kan tonen als het live zoekt.
- ChatGPT-User (OpenAI): haalt een pagina op als een gebruiker daar in een gesprek om vraagt.
- ClaudeBot (Anthropic): training en ophalen voor Claude.
- Google-Extended: geen aparte crawler, maar een schakelaar. Hiermee zeg je dat Google je content niet voor Gemini-training mag gebruiken. Het beïnvloedt niet je gewone Google-vindbaarheid en, voor zover Google zelf aangeeft, ook niet AI Overviews.
- PerplexityBot: voor de zoekmachine Perplexity.
- Bingbot: geen AI-crawler, maar wel belangrijk: de live zoekfunctie van ChatGPT leunt op de zoekindex van Bing. Wie Bing blokkeert, verdwijnt ook daar.
- CCBot (Common Crawl): een open dataset die door veel partijen voor training wordt gebruikt.
Er komen er elk halfjaar bij en de namen veranderen. Kijk daarom af en toe in de logbestanden of statistieken van je hosting wie er echt langskomt, in plaats van te vertrouwen op een lijstje van vorig jaar.
Wat je in robots.txt kunt regelen
Het bestand robots.txt in de hoofdmap van je site vertelt bots wat ze mogen. Een nette crawler houdt zich eraan. Wil je bijvoorbeeld wel gevonden worden in ChatGPT, maar niet meehelpen aan de training, dan ziet dat er zo uit:
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Google-Extended
Disallow: /Drie dingen om te weten. Een: dit is een verzoek, geen slot. Bots die zich netjes gedragen luisteren, de rest niet. Wie echt wil blokkeren, doet dat op de server of via een dienst als Cloudflare, dat de bekende AI-crawlers met één schakelaar kan weren. Twee: veel beveiligingsplugins en CDN's blokkeren AI-crawlers standaard, zonder dat je het weet. Ik kom regelmatig sites tegen waar de eigenaar gevonden wil worden in ChatGPT en waar de firewall dat al maanden tegenhoudt. Drie: Disallow voor GPTBot haalt je niet uit het huidige ChatGPT. Wat al in de trainingsdata zit, blijft daar.
Wat llms.txt is
Een voorstel uit 2024 voor een bestand llms.txt in de hoofdmap, met daarin in gewone tekst een korte samenvatting van je site en links naar je belangrijkste pagina's. Het idee is dat een taalmodel daarmee in één keer snapt waar je site over gaat.
Ik zet het neer op de sites die ik bouw, omdat het tien minuten kost en geen kwaad kan. Maar ik zeg er eerlijk bij dat er geen bewijs is dat OpenAI, Google of Anthropic het bestand ophalen of gebruiken. Het is een afspraak die nog op adoptie wacht. Reken er niet op, en laat je niets aansmeren dat als "llms.txt-optimalisatie" wordt verkocht.
Waarom een site die niet rendert zonder JavaScript onzichtbaar is
Dit is het punt dat het vaakst misgaat, en het is technischer dan robots.txt. Google voert JavaScript uit als het een pagina bezoekt, en ziet daardoor ook tekst die pas door een script wordt opgebouwd. AI-crawlers doen dat niet. GPTBot, ClaudeBot en de rest halen de kale HTML op en lezen wat daar staat. Staat je tekst niet in die HTML, dan zien ze een lege pagina.
Dat raakt sites die met een JavaScript-framework zijn gebouwd zonder serverside rendering, sommige page builders die inhoud nalaadt, en webshops waar productinformatie pas na een scriptaanroep verschijnt. Zo controleer je het: open je pagina, bekijk de broncode (in Chrome met Ctrl+U) en zoek naar een zin uit je tekst. Staat die er letterlijk in, dan is het goed. Staat er vooral script en weinig tekst, dan ben je voor AI-crawlers onzichtbaar, hoe mooi de pagina er in de browser ook uitziet.
WordPress met een normaal thema, en de sites die ik zelf met AI bouw, leveren de tekst in de HTML. Dat is geen toeval, het is een van de redenen dat ik zo bouw. Wat je verder op je site kunt doen om gelezen te worden, staat in vindbaar worden in ChatGPT.
De afweging: zichtbaar zijn of beschermen
Nu de keuze. Voor de meeste MKB-bedrijven is de rekensom simpel. Je teksten zijn geen product, je klanten zijn het product. Als ChatGPT je uitleg over dakisolatie samenvat en jouw naam noemt, heb je gewonnen, ook als die bezoeker je site nooit ziet. Blokkeren betekent dat een concurrent die wel toelaat, dat antwoord krijgt. Ik zag de afgelopen weken zelf aanvragen binnenkomen van mensen die me via ChatGPT hadden gevonden. Die had ik met een dichte deur niet gehad.
Anders ligt het als de tekst zelf je product is: uitgevers, cursusmakers, fotografen, wie leeft van content achter een betaalmuur. Dan is training door een AI-bedrijf een echte kostenpost en is blokkeren van GPTBot, CCBot en ClaudeBot verdedigbaar. Ook dan zou ik OAI-SearchBot en Bingbot toelaten, zodat je in live antwoorden wel als bron kunt verschijnen.
Mijn standaardadvies, dat ik ook toepas op mijn eigen site en op vindbaar in AI beschrijf: alles open, tekst in de HTML, en jaarlijks even in de logbestanden kijken wie er langskomt. Bescherming is een bewuste uitzondering, geen standaard. Hoe je vervolgens meet of het iets oplevert, staat in AI-vindbaarheid meten.
Veelgestelde vragen
Moet ik AI-crawlers zoals GPTBot blokkeren?
Voor de meeste MKB-bedrijven niet. Je verdient aan klanten, niet aan je teksten, en een geblokkeerde crawler betekent dat een concurrent het AI-antwoord krijgt. Blokkeren is verdedigbaar als de content zelf je product is, bijvoorbeeld bij uitgevers of cursusmakers.
Hoe blokkeer ik AI-crawlers in robots.txt?
Zet per bot een blok met User-agent en Disallow, bijvoorbeeld User-agent: GPTBot gevolgd door Disallow: /. Het is een verzoek dat nette crawlers respecteren. Echt blokkeren doe je op de server of via een dienst als Cloudflare.
Wat doet Google-Extended?
Google-Extended is een schakelaar in robots.txt waarmee je zegt dat Google je content niet mag gebruiken voor het trainen van Gemini. Het beïnvloedt je gewone vindbaarheid in Google niet.
Wat is llms.txt en heb ik het nodig?
Een tekstbestand in de hoofdmap van je site met een samenvatting en links naar je belangrijkste pagina's, bedoeld voor taalmodellen. Het kost tien minuten en kan geen kwaad, maar er is geen bewijs dat grote AI-bedrijven het gebruiken.
Waarom ziet ChatGPT mijn site niet terwijl Google dat wel doet?
AI-crawlers voeren geen JavaScript uit. Als je tekst pas door een script wordt opgebouwd, zien zij een lege pagina. Controleer het door de broncode te bekijken en te zoeken naar een zin uit je tekst. Ook beveiligingsplugins en CDN's blokkeren AI-crawlers vaak standaard.
Wil je weten of jouw bedrijf al genoemd wordt?
Op mijn pagina over vindbaar in AI lees je wat ik daarvoor doe en wat wel en niet kan. Of plan een gratis adviesgesprek via Google Meet, dan kijken we samen wat ChatGPT en Google nu over je zeggen.
Sinds 2010 gecertificeerd Google Partner. Ik bouw websites met AI en zorg dat ze vanaf dag één gevonden worden.
