Hoe zien zoekmachines je website?
2011-04-15 14:17:27
Je site door de ogen van een webcrawler
Martijn op 10-06-09 in Zoekmachine Optimalisatie
Benieuwd hoe webcrawlers van Google je website zien? Zoekmachines gebruiken spiders, crawlers en andere robots om het internet te indexeren. Een dergelijke robot ‘ziet’ een website niet zoals jij en ik dat doen. Het is daarom belangrijk om vast te stellen wat een robot precies ziet. Met die informatie kun je je website dan aanpassen. In dit artikel leg ik uit hoe de SEO tool Xenu het bezoek van een webcrawler simuleert en de voordelen die je daaruit haalt.
Wat is een webcrawler en wat heeft Xenu daar mee te maken?<br>Een webcrawler is simpel gezegd een software programma van een zoekmachine. Het doel van dit programma is het automatisch bezoeken van een lijst URL’s. Een crawler heeft daarbij verschillende doelen. Het kan bijvoorbeeld via links nieuwe content ontdekken. Of de crawler controleert of eerder geïndexeerde content nog bestaat. Voor zoekmachine optimalisatie is het belangrijk dat de crawler in staat is om alle content op je website te indexeren. Daarnaast wil je dat een crawler vaak genoeg langskomt om nieuwe content op te pikken.
