SEO en het voorkomen van dubbele content.
Een van de meest belangrijke onderwerpen wat betreft SEO op dit moment is het voorkomen van dubbele content. Laten we even aannemen dat deze pagina's met dezelfde inhoud per ongeluk of met opzet aangemaakt zijn op je website. Uiteraard niet door het copyright te schenden en de content van andere pagina's te kopieëren. Het is heel belangrijk om verschillende URLs die naar dezelfde content op een website linken te voorkomen. Als er dus met opzet links gecreëerd zijn met dezelfde inhoud is het belangrijk om crawlers te laten weten welke pagina's ze wel en welke ze niet hoeven te indexeren. Dit kan op verschillende manieren. Laten we er eerst vanuit gaan dat de links verkeerd zijn.
- Zorg ervoor dat deze verkeerde links nergens in de structuur van je website bestaan. Als verkeerde URLs niet gevonden kunnen worden, zullen ze ook niet in de zoekmachine resultaten terecht komen.
- 301 Permanente HTTP Redirect.
Je kan een 301 redirect toevoegen op de pagina's met dubbele content en deze laten linken naar de pagina met de correcte inhoud. Zoek machines zullen deze HTTP redirect zien en er uiteindelijk voor zorgen dat ze niet meer in de zoekmachine terug komen. Voor Google is dit te versnellen door gebruik te maken van Google sitemaps.
Laten we nu aannemen dat deze verschillende URLs met bijna dezelfde inhoud op de website moeten blijven staan. Het is dan belangrijk om aan zoek machines te zeggen welke je graag geïndexeerd ziet en welke niet.
- Als je alle bestanden in een folder of directory buiten de index wilt laten, is het het makkelijkst om het robot.txt bestand in de webroot van je website aan te passen. Gebruik de code Disallow: /map1/ om alles binnen deze map te indexeren. Gebruik de code User-agent: * om aan te geven aan crawlers dat de code in het robot.txt bestand voor alle user agents geldt, dat zijn alle crawlers die websites proberen te indexeren. De code Disallow: /*? geeft je de mogelijkheid om alle URLs die het vraagteken (?) bevatten uit de index te halen. Erg handig als je website volledig zoekmachine vriendelijke URLs heeft.
- Je kan ook een meta tag aan de web pagina in kwestie toevoegen. Voeg de code <meta name="robots" content="noindex"> toe aan de head van je webpagina als metatag.
- Een andere vrij nieuwe methode is om aan een pagina een canonical link toe te kennen. Laten we aannemen dat je drie pagina's hebt met bijna dezelfde content die alle drie moeten blijven bestaan op je website maar waar er maar een van in zoekmachines terecht mag komen. Je kan dan een canonical link <link rel="canonical" href="http://www.example.com/bla"/> toevoegen aan de head van de pagina's die niet geïndexeerd hoeven te worden.
Wil je reageren?
Velden met een * zijn verplicht.