Vier op de vijf webshops niet zichtbaar voor AI-zoekassistenten

Een blender die naar boven komt in een chatgesprek met ChatGPT, een jas die Perplexity aanraadt na een vraag over regenkleding: zoeken via een AI-assistent is geen curiosum meer. Het wordt langzaam een extra kanaal naast Google, en vakblad Emerce onderzocht onlangs hoe goed Nederlandse webwinkels daarop voorbereid zijn. De uitkomst is op zijn minst opvallend. Van honderd onderzochte webshops bleek bij ruim vier op de vijf niets geregeld in het technische bestand robots.txt voor AI-crawlers zoals GPTBot, OAI-SearchBot, PerplexityBot of ClaudeBot.

Grote namen even vaak in het rijtje als kleine shops

Emerce bekeek de robots.txt van honderd Nederlandse webshops, waarvan negentig bruikbaar waren voor de analyse. Daarvan noemde vierenzeventig, bijna vijfentachtig procent, geen enkele van de bekende AI-bots. Niet alleen kleinere winkels staan in die lijst. Ook bol.com, Coolblue, Albert Heijn, HEMA en de Bijenkorf hebben er geen van genoemd, zo meldt Emerce. Het verschil tussen grote ketens en het midden- en kleinbedrijf bleek klein: bij de ketens had zesentachtig procent niets geregeld, bij het mkb was dat eenentachtig procent. Kortom, de maat van een bedrijf zegt weinig over hoe bewust er met AI-bots wordt omgegaan.

Waarom een regel in een tekstbestand ertoe doet

Robots.txt is het bestand waarmee een website crawlers vertelt wat ze wel en niet mogen bezoeken. Voor zoekmachines is dat al jaren gewone kost, maar AI-bots zijn een ander verhaal. Sommige crawlers verzamelen data om modellen te trainen, andere halen juist op het moment van een vraag informatie op om een antwoord te kunnen geven, zoals wanneer iemand aan een chatbot vraagt waar hij een specifiek product kan vinden. Wie daar niets over vastlegt, laat het aan de bots zelf over hoe ze een webwinkel behandelen. En dat kan dus net zo goed betekenen dat een winkel straks simpelweg niet opduikt in een AI-antwoord, terwijl concurrenten dat wel doen.

De denkfout van een kant en klare instelling

Opvallend detail uit het onderzoek: bij zeven mkb-webshops was de robots.txt identiek, en bleek die niet door de winkel zelf opgesteld, maar automatisch meegeleverd door de serveromgeving. Daarin stond onder meer een crawl-delay, een instructie om bots te laten wachten tussen aanvragen door. Het idee lijkt logisch, maar werkt averechts. Juist de bots die zich netjes aan regels houden, worden daardoor afgeremd, terwijl een bot als GPTBot een crawl-delay volgens Emerce gewoon negeert. Wie nooit in het eigen robots.txt heeft gekeken, weet dus niet wie er wordt tegengehouden en wie niet.

Wat je als webwinkelier zelf kunt doen

Het begint met even kijken. Typ het eigen domein gevolgd door /robots.txt in de browser en lees wat daar al staat, of vraag het de hostingpartij of de bouwer van de webshop na. Daarna is het een kwestie van een bewuste keuze maken in plaats van een instelling klakkeloos te laten staan. Sommige winkeliers willen juist wel zichtbaar zijn in AI-zoekresultaten en dus niets blokkeren, anderen willen alleen trainingscrawlers tegenhouden en de bots die realtime antwoorden voeden met rust laten. Beide keuzes zijn verdedigbaar, zolang ze een keuze zijn en geen toeval. Met de opkomst van AI-shopping wordt die paar minuten controle een klein stukje huiswerk dat zich mogelijk uitbetaalt in gewoon gevonden worden.