Het indexeren van zoveel mogelijk pagina's op uw website kan voor marketeers verleidelijk zijn die hun zoekmachine-autoriteit proberen te verbeteren. Maar hoewel dat waar is, het soms beter om bepaalde pagina's voor de zoekmachines uit te sluiten.
Waarom u bepaalde webpagina's wilt uitsluiten van zoekresultaten
Er zijn een aantal redenen waarom u een webpagina (of een gedeelte van een webpagina) wilt uitsluiten van crawlen en indexeren door zoekmachines.
Voor marketeers is een veel voorkomende reden om te voorkomen dat dubbele inhoud (wanneer er meer dan één versie van een pagina is die is geïndexeerd door de zoekmachines, zoals in een printervriendelijke versie van uw inhoud) wordt geïndexeerd.
Nog een goed voorbeeld? Een bedankpagina (d.w.z. de pagina waarop een bezoeker terecht komt na conversie op een van uw landingspagina's). Dit is meestal de pagina waar de bezoeker toegang krijgt tot de beloofde aanbieding van de landingspagina, zoals een link naar een e-book PDF. Maar je wilt niet hebben dat de zoekresultaten direct naar een dergelijke pagina verwijst.
Dus, hoe ga je om met het de-indexeren van bepaalde pagina's in de zoekmachines? Hier zijn twee manieren om het te doen:
- Voeg een bestand Robots.txt toe aan uw site.
- Voeg een "noindex" metatag en / of een "nofollow" metatag toe.
1. Robots.txt
Gebruik dit als: Je wilt meer controle over wat je de-indexeert en beschikt over de nodige technische middelen.
Een manier om een pagina van de resultaten van een zoekmachine te verwijderen, is door een robots.txt-bestand toe te voegen aan je site. Het voordeel van het gebruik van deze methode is dat je meer controle krijgen over wat je de bots laat indexeren. Het resultaat? Je kunt ongewenste inhoud proactief buiten de zoekresultaten houden.
Binnen een robots.txt-bestand kan je opgeven of je bots wilt blokkeren voor een enkele pagina, een hele map of zelfs slechts één afbeelding of bestand. Er is ook een optie om te voorkomen dat je site wordt gecrawld, terwijl Google AdSense-advertenties nog steeds werken, als je die hebt.
Dat gezegd hebbende, van de twee opties die beschikbaar zijn, vereist deze de meest technische kennis. Als je meer wilt weten over het maken van een robots.txt-bestand, lees dan dit artikel in de van Google. Met de tool Google robots.txt-tester kun je zien of je robots.txt-bestand de toegang tot specifieke URL's op je site blokkeert voor de webcrawlers van Google.
Hoe doe je dit: Ga naar de GLOBAL SETTINGS, WEBSITE, PAGES, SEO and CRAWLERS. Onder het kopjes ROBOTS.txt voeg je de disallow-code toe.
Meer informatie:
2. noindex" of "nofollow" metatag
Gebruik dit als: je wilt een eenvoudiger oplossing voor het de-indexeren van een volledige webpagina en / of de-indexering van de links op een gehele webpagina.
Het gebruik van een metatag is zowel eenvoudig als effectief. Het vereist slechts een klein beetje technische knowhow. De tags waarmee je deze dingen kunt doen, worden 'noindex' en 'nofollow' genoemd. Voordat je begint met het toevoegen van deze tags, moet je weten wat is het verschil is tussen deze twee. Het zijn immers twee totaal verschillende richtlijnen - en ze kunnen zowel op apart als naast elkaar worden gebruikt.
Wat is een "noindex" -tag?
Wanneer je een "noindex" metatag aan een webpagina toevoegt, vertelt dit aan een zoekmachine dat de pagina weliswaar kan worden gecrawld, maar niet kan worden toegevoegd aan de zoekindex. Dus elke pagina met de "noindex"-richtlijn erop zal niet in de zoekindex van de zoekmachine worden opgenomen en kan daarom niet worden getoond op pagina's met zoekmachine-resultaten.
Wat is een "nofollow" -tag?
Wanneer je een "nofollow" metatag aan een webpagina toevoegt, staat het zoekmachines niet toe om de links op die pagina te crawlen. Dit betekent ook dat een rankingautoriteit die de pagina heeft over SERP's niet zal worden doorgegeven aan pagina's waarnaar deze verwijst. Dus elke pagina met een "nofollow" -richtlijn laat alle links negeren door Google en andere zoekmachines.
Wanneer zou je "noindex" en "nofollow" afzonderlijk of samen gebruiken?
Je kunt een "noindex"-richtlijn op zichzelf zetten, of samen met een "nofollow" -richtlijn. U kunt ook alleen een "nofollow"-richtlijn toevoegen.
Voeg alleen een "noindex"-tag toe: als je niet wilt dat een zoekmachine de webpagina indexeert in de zoekresultaten, maar je wel wilt dat het de links op die pagina volgt, waardoor je een rangorde-autoriteit geeft aan de andere pagina's waar de paginalinks naar verwijzen.
Betaalde landingspagina's zijn daar een goed voorbeeld van. Je wilt niet dat zoekmachines landingspagina's indexeren in zoekopdrachten waar mensen voor moeten betalen om te zien, maar je wilt wel dat de pagina's waarop deze koppelingen staan, van hun autoriteit profiteren.
Voeg alleen een "nofollow" -tag toe: als je wilt dat een zoekmachine de webpagina indexeert in zoekresultaten, maar je niet wilt dat de links op die pagina worden gevolgd. Er zijn niet veel voorbeelden van wanneer je een "nofollow"-tag zou toevoegen aan een hele pagina zonder een "noindex"-tag toe te voegen.
Voeg zowel een "noindex" als een "nofollow"-tag toe: als je niet wilt dat zoekmachines een webpagina indexeert in de zoekresultaten en je niet wilt dat zoekmachines de links op die pagina volgen.
Bedankpagina's zijn een goed voorbeeld voor dit soort gevallen. Je wilt niet dat zoekmachines de bedankpagina indexeren, en ook niet dat zij de linken naar uw aanbiedingen volgen en ook niet dat de inhoud van die aanbieding wordt geïndexeerd.
Hoe voeg je een "noindex" en/of een "nofollow" metatag toe
Stap 1: Kopieer een van de volgende tags.
- Voor "noindex": <META NAME = "robots" CONTENT = "noindex">
- Voor "nofollow": <META NAME = "robots" CONTENT = "nofollow">
- Voor zowel "noindex" als "nofollow": <META NAME = "robots" CONTENT = "noindex, nofollow">
Stap 2: Voeg de tag toe aan het <head> -gedeelte van de HTML-pagina van uw pagina, oftewel de kop van de pagina.
Open de HubSpot-tool en ga naar de pagina waaraan u deze tags wilt toevoegen en kies het tabblad 'Settings'. Scrol vervolgens omlaag naar Geavanceerde opties en klik op 'Head HTML'. Plak in het venster het juiste codefragment. In het onderstaande voorbeeld is zowel een 'noindex' als een 'nofollow'-tag toegevoegd, omdat dit voor een bedankpagina is.
Save en/of publish vervolgens de pagina en je bent klaar.