Robots.txt is een tekstbestand in de hoofdmap van je website waarmee je bots vertelt welke pagina's of mappen ze niet mogen crawlen.
Voordat een zoekmachine je site doorzoekt, kijkt hij eerst of er een robots.txt staat. Daarin lees je wat de bot wel en niet mag bezoeken. Het is een verzoek, geen slot: nette bots als Googlebot houden zich eraan, kwaadwillende bots niet.
User-agent: *
Disallow: /admin
Disallow: /winkelwagen
Sitemap: https://voorbeeld.nl/sitemap.xml- —
User-agentbepaalt voor welke bot de regels gelden. Een sterretje betekent alle bots. - —
Disallownoemt een pad dat niet bezocht mag worden. - —
Allowmaakt een uitzondering binnen een geblokkeerde map. - —
Sitemapwijst naar je XML-sitemap.
Paden zijn hoofdlettergevoelig. * en $ werken als jokers voor Google: Disallow: /*?sort= blokkeert alle adressen met een sorteerparameter.
Dit is het onderdeel waar de meeste fouten ontstaan. bepaalt of Google een pagina bezoekt. Het bepaalt niet of de pagina in de zoekresultaten staat. Een geblokkeerde pagina waar andere sites naar linken, kan zonder omschrijving toch in Google verschijnen.
Wil je een pagina echt uit de resultaten houden, zet er dan noindex op en laat Google hem wel bezoeken, anders ziet Google die instructie nooit.
Disallow: / laten staan na de bouw. Tijdens de bouw blokkeer je de hele site, en bij de oplevering vergeet iemand het weg te halen. De site verdwijnt dan langzaam uit Google. Controleer je robots.txt bij elke livegang.
CSS en JavaScript blokkeren. Google moet je pagina kunnen weergeven zoals een bezoeker hem ziet. Blokkeer je de bestanden die de opmaak bepalen, dan beoordeelt Google een kapotte versie.
Een pagina blokkeren die je ook met een canonical of redirect afhandelt. Google kan die signalen niet lezen als hij de pagina niet mag bezoeken.
Naast Googlebot bezoeken ook crawlers van AI-diensten je site, zoals die van OpenAI en Anthropic. Je kunt ze per naam toelaten of weren. Wie gevonden wil worden in ChatGPT of Perplexity, moet die bots niet per ongeluk blokkeren.
jouwsite.nl/robots.txt en lees het één keer door: je ziet meteen of er iets staat dat er niet hoort.Robots.txt staat in de technische SEO-checklist, net als je canonical URL's.
Veelgestelde vragen
Waar moet robots.txt staan?
In de hoofdmap van je domein, dus op voorbeeld.nl/robots.txt. In een submap wordt het bestand niet gelezen. Elk subdomein heeft een eigen bestand nodig.
Verwijdert Disallow een pagina uit Google?
Nee. Disallow verbiedt alleen het bezoeken van de pagina. Staat het adres ergens anders op het web gelinkt, dan kan het zonder inhoud toch in de zoekresultaten verschijnen. Wil je een pagina uit Google houden, gebruik dan een noindex en laat de pagina crawlbaar.
Is robots.txt een beveiliging?
Nee. Het bestand is openbaar en bots hoeven zich er niet aan te houden. Gebruik wachtwoorden of inlog voor alles wat privé moet blijven.
Remco
Webontwikkelaar & eigenaar, REBUS Digital Solutions
Remco bouwt maatwerk websites, webshops en SEO-strategieën voor MKB door heel Nederland. REBUS Digital Solutions is zijn eenmanszaak in Den Haag.
LinkedIn →Meer over mij →Klaar om te bouwen?
Laten we jouw project bespreken
Geen salesgesprek. Gewoon kijken of er een match is en wat je kunt verwachten.
Gesprek plannen →