NIEUWS

IN HET KORT: De grootste spelers op het gebied van kunstmatige intelligentie — Google, OpenAI, Anthropic en Microsoft — gaan een gezamenlijke standaard ondersteunen om website-eigenaren meer controle te geven over hun content. Met de nieuwe regel in het bekende robots.txt-bestand kunnen beheerders in één keer aangeven dat hun teksten, afbeeldingen en data niet gebruikt mogen worden voor het trainen van AI-modellen.

Hierdoor hoeven webmasters niet langer afzonderlijke blokkades in te stellen voor elke AI-bot en crawler afzonderlijk (zoals GPTBot, ClaudeBot of Google-Extended).

Eén regel in plaats van een woud aan uitzonderingen

Tot nu toe moesten publishers en beheerders de instructiebestanden van hun servers constant bijwerken. Elk AI-bedrijf hanteerde immers een eigen 'user-agent' en specifieke regels om crawlers de toegang te ontzeggen. Mistte een site-eigenaar de nieuwste scraper van een AI-ontwikkelaar, dan werd de content alsnog meegenomen in de trainingsdata van nieuwe AI-modellen.

Met de voorgestelde IETF-standaard (die gebruikmaakt van de regel __usage_ai-training) komt daar verandering in. Websitebeheerders kunnen met een enkele instelling formeel bezwaar maken tegen AI-training voor alle deelnemende partijen.

Scheiding tussen AI-training en zoekresultaten

Een belangrijk aspect van de nieuwe standaard is de scheiding tussen het trainen van AI-modellen en de indexering voor zoekmachines.

Wel bewaard voor zoekresultaten: Een site die de AI-trainingsregel inschakelt, blijft gewoon vindbaar in zoekmachines zoals Google Search en Bing.

Niet gebruikt voor modeltraining: De content wordt niet meer gebruikt als oefenmateriaal om de basismodellen van Gemini, ChatGPT, Claude of Copilot te trainen.

De standaard richt zich dus puur op het hergebruik van intellectueel eigendom voor de bouw van AI-systemen, zonder dat websites hun zichtbaarheid in het normale webverkeer verliezen.

Uitrol en de grenzen van de maatregel

De invoering van de nieuwe standaard gebeurt gefaseerd. AI-lab Anthropic geeft aan de regel al te ondersteunen. OpenAI rolt de ondersteuning in de komende maanden uit. Microsoft en Google volgen met een volledige implementatie in de loop van 2027.

Hoewel beveiligingsexperts en uitgevers de stap verwelkomen als een belangrijke vereenvoudiging van beheer, kleven er nog wel kanttekeningen aan:

Geen terugwerkende kracht: De regel geldt alleen voor toekomstige crawling-sessies. Content die in het verleden al is geschraapt en opgenomen in bestaande taalmodellen, wordt hiermee niet gewist.

Vrijwillige afspraak: De robots.txt-standaard blijft een diplomatieke en technische afspraak. Kwaadwillende of kleinere partijen kunnen de opt-out instructie in de praktijk alsnog negeren.

Desondanks markeert het initiatief van de vier techgiganten een belangrijke stap naar een transparanter en eenvoudiger beheer van auteursrechten en contentbescherming op het moderne internet.