Google heeft op 30 oktober 2026 aangekondigd dat het een gedeelde regel voor AI-training in robots.txt wil ondersteunen. Dat staat in een bericht op de Google Search Central Blog. Met die regel kan een website in een keer aangeven wat meerdere AI-aanbieders wel en niet mogen. Google wil dit samen met andere aanbieders in 2027 ondersteunen. Nu is het nog een conceptvoorstel.
Wat er precies verandert
Robots.txt is een klein tekstbestand op je website dat crawlers vertelt wat ze mogen lezen. Wie zijn site buiten AI-training wil houden, geeft nu per AI-ontwikkelaar een aparte instructie. Bij Google heet die instructie Google-Extended. Die bestaat sinds 2023.
Het plan is een gedeeld signaal, een zogeheten policy token, dat deelnemende AI-aanbieders allemaal lezen. Het komt uit het werk van de AIPREF-werkgroep van de IETF, de organisatie die internetstandaarden opstelt. Zet een website met dat signaal "geen training" in robots.txt, en staat Google-Extended er niet apart in, dan wil Google dat lezen alsof de site Google-Extended heeft uitgesloten. De bestaande instructies per bedrijf blijven daarnaast gewoon werken.
Google noemt het voorstel in lijn met de Europese gedragscode voor aanbieders van algemene AI-modellen onder de AI-verordening. Die erkent robots.txt als primaire manier om zulke voorkeuren machineleesbaar vast te leggen.
Wat nu al geldt
Een zin uit de aankondiging gaat niet over 2027. Google schrijft dat sites die Google-Extended uitdrukkelijk toestaan, in aanmerking komen om te verschijnen in antwoorden in de Gemini-apps en daar klikken uit te krijgen.
Er zitten dus twee vragen in hetzelfde bestand. Mogen AI-modellen leren van wat er op je site staat? En wil je in aanmerking komen om genoemd te worden als iemand Gemini een vraag stelt?
Volgens de documentatie van Google over zijn crawlers heeft Google-Extended geen invloed op of je site in Google Zoeken staat, en is het geen signaal voor de positie daar. De keuze gaat dus over Gemini, niet over je gewone vindbaarheid in Google.
Wat het betekent voor een ondernemer
Misschien heb je nooit naar je robots.txt gekeken. Dan staat er wat de bouwer van je site er ooit in zette. Zoeken je klanten via AI-tools, dan bepaalt dit bestand mee wat die tools van jouw site mogen gebruiken.
Je hoeft de techniek niet zelf te beheersen. Wel is het goed als de keuze bewust is, en niet een standaardinstelling die iemand ooit voor je koos.
Wat je deze week kunt doen
- 1Open het bestand. Typ in je browser het adres van je website met /robots.txt erachter. Je ziet dan een paar regels tekst.
- 2Kijk of er AI-namen in staan, zoals Google-Extended. Staat er alleen een algemene regel, dan heeft niemand er voor AI iets apart in gezet.
- 3Beslis op de twee vragen hierboven. Wil je dat je teksten gebruikt worden voor training? En wil je in aanmerking komen voor antwoorden in Gemini?
- 4Vraag degene die je site beheert om je keuze in het bestand te zetten, en noteer de datum. Als het gedeelde signaal in 2027 komt, weet je dan wat er al staat.
Zo'n aanpassing gaat over een paar regels tekst. Het belangrijkste is dat de keuze van jou is.
Waarom dit vaker terugkomt
Google schrijft dat het verder werkt aan de standaard via de IETF en updates over de voortgang zal geven. De regels voor AI op je website zijn dus nog in beweging. Wie weet wat er nu in robots.txt staat en waarom, hoeft bij de volgende aankondiging alleen te kijken of de keuze nog klopt.
Laat je je website vernieuwen, vraag dan of de bouwer robots.txt meeneemt en je keuze voor AI vastlegt. Meer over wat wij aan websites doen lees je op Website, en over aanpassingen aan je site met AI in AI-aanpassingen voor Shopify en WordPress.
Weet je niet wat jouw robots.txt nu over AI zegt? Stuur ons een bericht, dan kijken we het samen na.
