HomeFeaturesOplossingenPricingBlogOver onsInloggenGet started →

Robots.txt: wat het is, waarom je het nodig hebt en hoe je het goed instelt

Googlebot bezoekt je site. Honderden andere crawlers ook, van Bingbot tot GPTBot. Zonder duidelijke instructies crawlen ze alles, inclusief pagina's die niets toevoegen aan je zoekresultaten. Een robots.txt bestand voorkomt dat. Simpel bestand, groot effect op je crawlbudget en je zichtbaarheid.

Team Qlimbr

Googlebot bezoekt je site. Honderden andere crawlers ook, van Bingbot tot GPTBot. Zonder duidelijke instructies crawlen ze alles, inclusief pagina's die niets toevoegen aan je zoekresultaten. Een robots.txt bestand voorkomt dat. Simpel bestand, groot effect op je crawlbudget en je zichtbaarheid.

Wat is robots.txt?

Robots.txt is een tekstbestand dat crawlers vertelt welke delen van je site ze wel en niet mogen bezoeken. Het bestand volgt de Robots Exclusion Standard en moet exact op één plek staan: de root van je domein. Voor www.jouwsite.nl staat het bestand dus op www.jouwsite.nl/robots.txt. Zet je het ergens anders neer, bijvoorbeeld in een submap, dan is het ongeldig en negeren crawlers het volledig, omdat bots dit bestand alleen in de root controleren.

Belangrijk om te onthouden: robots.txt stuurt crawlgedrag, niet indexering. Robots.txt, zoals internetstandaard RFC 9309 het definieert, bepaalt welke URL's een crawler mag opvragen, niet wat er met de content daarna gebeurt. Disallow stopt het crawlen, maar voorkomt niet dat een URL geïndexeerd wordt als er externe links naar verwijzen. Google kijkt namelijk ook naar externe factoren zoals inkomende links. Wil je een pagina echt uitsluiten van indexering, gebruik dan de noindex meta tag of de X-Robots-Tag HTTP header.

Waarom je robots.txt altijd moet inzetten

Een robots.txt inrichten is voor vrijwel elke site aan te raden. Niet omdat het verplicht is, maar omdat het je drie concrete voordelen oplevert die rechtstreeks aan je organische resultaat bijdragen.

Crawlbudget sturen. Google besteedt niet oneindig tijd aan je site. Stuur crawlers naar je waardevolle pagina's, niet naar filterpagina's, interne zoekresultaten of duizenden parameter-URL's van je webshop.

Serverbelasting beperken. Volgens Google Search Central is het primaire doel van dit bestand niet om pagina's te verbergen uit zoekresultaten, maar om het aantal verzoeken van bots te beperken en de serverbelasting te verlagen. Bij grote sites met veel dynamische content scheelt dit merkbaar in laadtijd en infrastructuurkosten.

Grip op AI-crawlers. Sinds de opkomst van ChatGPT, Claude en Perplexity is robots.txt ook je eerste verdedigingslinie tegen AI-trainingsbots. Anno 2026 draaien grote AI-aanbieders aparte crawlers voor training en voor zoekresultaten en dat onderscheid bepaalt wat je wel en niet wilt blokkeren.

DoelCrawler-typeVoorbeeldenAdvies
Model trainenTraining-crawlerGPTBot, ClaudeBot, Google-Extended, CCBotBlokkeren als je niet wilt dat je content in trainingsdata belandt
Antwoord geven met bronvermeldingSearch/antwoord-crawlerOAI-SearchBot, Claude-SearchBot, PerplexityBotToestaan als je zichtbaar wilt blijven in AI-antwoorden
Live ophalen voor één gebruikerUser-triggered fetcherChatGPT-User, Claude-UserRobots.txt wordt hier soms genegeerd

Deze scheiding is cruciaal: blokkeren van OAI-SearchBot verwijdert je uit ChatGPT-zoekcitaten, maar GPTBot blokkeren doet dat niet. Je kunt dus gericht kiezen: geen training op je content, wel zichtbaar in AI-zoekresultaten en dus voor GEO.

Voorbeelden van een robots.txt bestand

Hieronder een paar praktijkvoorbeelden van robots.txt bestanden.

Voorbeeld 1: basisstructuur met user-agent en disallow

``` User-agent: * Disallow: /winkelwagen/ Disallow: /zoeken/ Disallow: /admin/

Sitemap: https://jouwsite.nl/sitemap.xml ```

De eenvoudigste robots.txt gebruikt twee regels: User-agent voor de robot waar de regel op van toepassing is en Disallow voor de pagina's die je wilt blokkeren. Deze twee regels vormen samen één invoer en je kunt zoveel invoeren toevoegen als je wilt.

Voorbeeld 2: specifieke map blokkeren

Om Googlebot te blokkeren voor het crawlen van alle pagina's onder een bepaalde map (bijvoorbeeld private), gebruik je de volgende regel in robots.txt.

``` User-agent: Googlebot Disallow: /private/ ```

Voorbeeld 3: bestandstype uitsluiten met wildcards

Wil je voorkomen dat een specifiek bestandstype gecrawld wordt, bijvoorbeeld grote PDF's die geen SEO-waarde hebben? Gebruik dan wildcards: het sterretje (*) staat voor een willekeurige reeks tekens, en het dollarteken ($) markeert het einde van de URL. De regel hieronder matcht dus elke URL die eindigt op .pdf, ongeacht wat ervoor staat.

``` User-agent: Disallow: /.pdf$ ```

Voorbeeld 4: AI-training blokkeren, AI-zoekresultaten toestaan (2026-aanpak)

```

Training-crawlers blokkeren

User-agent: GPTBot Disallow: /

User-agent: ClaudeBot Disallow: /

User-agent: Google-Extended Disallow: /

Zoek- en antwoordcrawlers toestaan voor citaties

User-agent: OAI-SearchBot Allow: /

User-agent: PerplexityBot Allow: /

Sitemap: https://jouwsite.nl/sitemap.xml ```

Beslis bewust: wil je AI-zoekzichtbaarheid, sta dan de zoek/antwoord-agents toe, want AI-doorverwezen bezoekers zijn een snelgroeiend, high-intent kanaal. Wil je geen training voeden, blokkeer dan de trainingscrawlers terwijl je zoek-agents toegestaan houdt.

Veelgemaakte fouten in robots.txt

Een robots.txt bestand aanmaken en plaatsen is in de meeste CMS'en eenvoudig: in WordPress kan dat via een SEO-plugin of door het bestand handmatig in de root te uploaden, in Shopify beheer je de inhoud via het bestand robots.txt.liquid in de themasjablonen. De techniek is dus zelden het probleem, de instructies erin wel. Dit zijn veelvoorkomende fouten:

  • CSS en JS per ongeluk blokkeren. Blokkeer je een map waar stylesheets of scripts in staan, dan kan Google je pagina's niet meer correct renderen en beoordeelt het ze mogelijk als slecht opgebouwd.
  • Disallow: / per ongeluk live zetten. Deze regel, vaak bedoeld voor een test- of stagingomgeving, blokkeert je volledige site voor crawlers als hij meegaat naar productie. Je site verdwijnt dan in rap tempo uit de zoekresultaten.
  • De sitemap-regel vergeten. Zonder een Sitemap-verwijzing in je robots.txt moeten crawlers je sitemap zelf vinden, wat de ontdekking van nieuwe pagina's onnodig vertraagt.
  • Bestandsgrootte. Google hanteert een maximale bestandsgrootte van 500 kibibyte voor robots.txt. Alles daarna wordt genegeerd, dus houd het bestand compact en consolideer regels waar mogelijk.
  • Encoding. Een robots.txt bestand moet een UTF-8 gecodeerd tekstbestand zijn, inclusief ASCII.
  • Specificiteit wint. Bij het matchen van robots.txt regels aan URL's gebruiken crawlers de meest specifieke regel, gebaseerd op de lengte van het pad.
  • Geen noindex in robots.txt. Voor wie vertrouwde op de noindex-regel in robots.txt: gebruik in plaats daarvan noindex in de robots meta tag, of Disallow in robots.txt zodat de pagina niet gecrawld en daardoor meestal ook niet geïndexeerd wordt. De noindex-directive binnen robots.txt wordt namelijk niet ondersteund.
  • Alleen crawlen, geen beveiliging. Robots.txt is openbaar toegankelijk voor iedereen. Zet er dus nooit gevoelige mappen in als enige beveiligingslaag, want je verklapt daarmee juist waar die mappen staan.
  • Altijd testen. Test wijzigingen voordat je ze live zet, via het robots.txt-rapport in Google Search Console (onder Instellingen → Crawlen) of een externe robots.txt-validator. Controleer daarbij drie dingen: wordt het bestand überhaupt opgehaald, welke versie van het bestand ziet Google op dit moment, en blokkeert een regel onbedoeld CSS, JS of je hele site. Eén verkeerde regel kan dat laatste zomaar veroorzaken.

Hoe Qlimbr je hierbij helpt

Een robots.txt bestand instellen is techniek. Weten wélke pagina's crawlbudget verdienen en welke niet, dat is strategie. Qlimbr koppelt rechtstreeks met Search Console en GA4 en ziet daardoor precies welke pagina's clicks, impressies en conversies opleveren en welke alleen crawlbudget opsouperen zonder waarde. Die data vertaalt Qlimbr naar concreet SEO-advies, inclusief aanbevelingen voor technische zaken als robots.txt, canonical tags en sitemapstructuur.

Geen giswerk over welke mappen je moet uitsluiten. Geen handmatig uitzoeken welke AI-crawlers je wel of niet wilt toelaten. Qlimbr signaleert het, legt uit waarom en jij beslist met de juiste data in handen.

Benieuwd hoe jouw site er qua crawlbaarheid en technische SEO voor staat? Plan een vrijblijvende demo en we lopen het samen door.

Laat Qlimbr je volgende artikel schrijven.

Gratis starten

Lees ook