Kort samengevat:
Slechts 7 procent van de Nederlandse websites blokkeert AI-training via robots.txt. Van die groep blokkeert maar 0,6 procent AI-crawlers volledig. De rest geeft AI-bedrijven stilzwijgend toegang tot alle content. Een nieuw Europees onderzoek van Piperic legt bloot hoe kwetsbaar Nederlandse data is. Bespreek AI en datarechten in de KREATE Community.
Het klinkt als een klein technisch detail, maar het heeft grote gevolgen: bijna geen enkele Nederlandse website blokkeert AI-crawlers actief. Uit onderzoek van het Hongaarse AI-analysebureau Piperic blijkt dat 97 procent van de 681.071 onderzochte Nederlandse websites AI-training onbedoeld toestaat. Deze AI-training op Nederlandse websites verloopt via standaard crawlers die content slurpen zonder expliciete toestemming. Van alle nieuwssites blokkeert slechts 4,7 procent AI-crawlers, en van webshops 2,5 procent. De rest laat AI-bedrijven vrijelijk hun data verzamelen.
Wat is robots.txt en waarom doet het ertoe?
Een robots.txt-bestand is een simpel tekstbestand op een server dat crawlers vertelt of ze de website mogen lezen. AI-bedrijven zoals OpenAI, Google, Anthropic en xAI gebruiken speciale crawlers - GPTBot, Google-Extended, Claude-Web - om data te verzamelen voor modeltraining. Staat er geen blokkade in het bestand, dan mogen ze die data vrij gebruiken. Het probleem: 93 procent van de Nederlandse websites heeft helemaal geen robots.txt-bestand. Daarmee geven eigenaren onbedoeld groen licht.
De cijfers komen uit een analyse van Piperic, opgericht door de Hongaarse ondernemer Racz-Akacosi Attila. Het bedrijf onderzocht websites uit 43 landen. Nederland staat op plek 9 als het aankomt op acceptatie van AI-crawlers. Europees lopen landen als Duitsland en Frankrijk voorop in het actief blokkeren van AI-training, terwijl Nederland qua bewustwording stevig achterblijft. Zelfs van de websites die wel een robots.txt hebben, blokkeert maar een klein deel AI-crawlers specifiek.
Opvallend detail: nieuwssites zijn iets beter beschermd, maar nog altijd laat 95,3 procent AI-training toe. Webshops scoren nog slechter: 97,5 procent staat AI-crawlers zonder blokkade toe. Dat betekent dat productbeschrijvingen, reviews en prijsinformatie van duizenden Nederlandse webshops in AI-trainingsets terechtkomen.
Wat dit betekent voor makers en ondernemers
Voor iedereen met een website is dit een wake-up call. AI-bedrijven hebben slurpende crawlers die 24/7 data verzamelen. Jouw blogs, productteksten en unieke content kunnen zo in een trainingsset belanden zonder dat je het weet of er toestemming voor hebt gegeven. Het is niet illegaal - het is de standaard en het gebeurt op dit moment.
Uitgevers zitten in een lastig parket: sites blokkeren van AI-training kan betekenen dat ze niet verschijnen in AI-overzichten van Google, Bing of ChatGPT. Daarmee riskeren ze minder bezoekers. Toch stappen grote uitgevers als Hachette, Cengage en Elsevier wereldwijd naar de rechter om AI-training op hun data aan te vechten. De balans tussen zichtbaarheid in AI en bescherming van eigen content blijft een heet hangijzer.
Wil je controleren of AI jouw website gebruikt? Open je robots.txt door jouwdomein.nl/robots.txt in je browser te typen. Check of er regels staan voor GPTBot, Claude-Web of Google-Extended. Staat die er niet in, dan is toegang standaard toegestaan. Een simpele regel als Disallow: / voor die bots kan dat blokkeren. Het kost vijf minuten en het kan je content beschermen.
