Robots.txt

Home » SEM Handboek » Robots.txt

Wat is Robots.txt? Uitleg en toepassing

Robots.txt is een tekstbestandje waarmee je instructies geeft aan de zoekmachine. Het protocolbestand biedt de gelegenheid om een deel van je website af te schermen voor de zoekrobots. Je zorgt er met het bestandje voor dat Google bot beperkt toegang krijgt tot je website. Op deze wijze voorkom je dat de robots content indexeren waarvan je dat niet wilt. Er is nog een gevolg verbonden aan de toepassing van robots.txt. Dat is dat je hiermee de controle hebt om een blokkade op te werpen voor bepaalde web spiders. Je hebt er niets aan als een Chinese zoekmachine je site crawlt als je niets met China te maken hebt. Het zorgt echter tijdens het spideren wel voor langere laadtijden.

Belangrijke aandachtspunten voor gebruikt robots.txt

Het is bij het gebruik van robots.txt van belang om met een aantal punten rekening te houden. Zo krijg je geen garantie dat de robots toch je hele website crawlen. Het is echter een richtlijn die de meeste robots wel volgen. Het is bijvoorbeeld belangrijk om te weten dat malware-bots zich er niets van aantrekken. In theorie is het zeker mogelijk om een blokkade op te werpen voor de malware-bots. In de praktijk werkt dat echter even anders. Zelfs als je de malwarespider bij naam kent en blokkeert, komt de bot binnen. Het is wel mogelijk om in dat geval het IP-adres te blokkeren. Bijvoorbeeld via de server of de firewall.

Voor iedereen te zien

Verder is het goed om te weten dat het protocol voor robots.txt openbaar toegankelijk is. Iedereen heeft de mogelijkheid om te zien welk deel je blokkeert. Er is voor alles bij het gebruik van robot.txt dus geen garantie dat er geen indexatie komt. Dat betekent dat het alsnog mogelijk is dat er een url te zien is in de zoekresultaten waarvan je dat niet wilt. Een noindex, follow in combinatie met het tekstbestandje is dan een oplossing.

Conclusie

Wil je bepaalde delen van je website afschermen voor de zoekrobots. Zorg er dan voor dat jouw robot.txt bestand up to date is en je de delen die je niet wilt laten indexeren voor zoekmachines erin vermeld staan. Weet je niet hoe je een robot.txt moet aanmaken of aanpassen. Contacteer ons dan via onze contactformulier. Wij helpen jou graag het gedeelte van jouw website af te schermen dat je niet wilt laten crawlen door de Google bots.

Wie zijn we en wat doen we?

Wij, bij CRE8ME zijn een creatief team van gepassioneerde digitale marketeers met een uitgebreide kennis aan online marketing. Door onze knowhow binnen de digitale wereld te combineren met de expertise van jouw bedrijfstak brengen we jouw bedrijf naar hogere sferen.

Heb je vragen?

Word jij ook teruggevonden in de zoekmachines? Wij testen het gratis voor jou.

6 + 14 =