Blokkeert jouw webshop per ongeluk ChatGPT?

Op vrijwel elke website staat een bestandje dat robots.txt heet. Het is een kort tekstbestand dat aan bezoekende robots vertelt wat ze wel en niet mogen bekijken. Het staat er meestal al vanaf de dag dat je site gebouwd werd, en de meeste eigenaren hebben het nooit geopend.

Het probleem in één regel

In dat bestand kan een regel staan die zegt: alle robots, blijf overal weg. Dat is soms bewust zo gezet, bijvoorbeeld toen de site nog in aanbouw was, en daarna vergeten. Maar het treft ook de robots van ChatGPT, Gemini en Perplexity. Die krijgen dan bij de deur te horen dat ze niet naar binnen mogen, en gaan weg zonder ooit je producten te zien.

Zo check je het zelf

Typ je eigen webadres in de browser en zet er achteraan: /robots.txt. Dus bijvoorbeeld jouwwebshop.nl/robots.txt. Je krijgt dan een simpel tekstscherm te zien.

Zoek naar regels waarin de naam van een AI-robot staat, zoals GPTBot, ClaudeBot, PerplexityBot of Google-Extended. Staat daar bij eentje een regel met Disallow gevolgd door een schuine streep, dan wordt die robot volledig geweerd. Staat er helemaal geen robots.txt, dan is er meestal niets aan de hand, want dan mag iedereen gewoon binnen.

Wat je eraan doet

Wil je AI-assistenten toelaten, dan moet er voor elke robot komen te staan dat hij welkom is. Dat ziet er zo uit, met per robot een eigen blokje: de naam van de robot, en daaronder Allow gevolgd door een schuine streep.

Ben je hier niet zeker van, laat het dan doen door degene die je website heeft gebouwd. Het is een aanpassing van een paar minuten, en het is precies het soort ding waar je later spijt van hebt als het maandenlang verkeerd staat.

Een keuze, geen verplichting

Voor de eerlijkheid: sommige bedrijven willen juist niet dat AI hun inhoud gebruikt, en blokkeren die robots bewust. Dat is een legitieme keuze. Het punt is dat het een keuze moet zijn, en niet iets dat per ongeluk gebeurt terwijl je klanten misloopt.