Vastoin yleistä käsitystä, robots.txt-tiedosto ei ole toimiva ratkaisu sivuston yksittäisten sivujen indeksoinnin hallintaan. Robots metatagi on oikea tapa kertoa hakuroboteille, pitääkö niiden indeksoida sivu vai ei.
Miksi jonkin sivun näkyminen hakutuloksissa pitäisi estää?
Verkkosivuston omistajan tavoitteena on yleensä, että Google ja muut hakukoneet tallentaisivat sivuston sisällön mahdollisimman kattavasti tietokantaansa.
Syy on yksinkertainen:
Mitä enemmän yksittäisiä sivuja on tallennettu hakukoneiden tietokantaan eli indeksoitu, sitä enemmän sivustolla on mahdollisuuksia tulla löydetyksi hakutuloksissa.
Tästäkin säännöstä on kuitenkin poikkeuksia.
Useimmilla verkkosivustoilla on yksittäisiä sivuja, joiden ei haluta löytyvän Googlen hakutuloksissa.
Nämä sivut ovat usein sellaisia sivuja, joille ohjataan kävijöitä jonkin konversiotapahtuman jälkeen.
Tällainen on esimerkiksi maksuttoman oppaan tai muun niin sanotun liidimagneetin tilauksen jälkeen sivuston käyttäjälle näytettävä kiitossivu.
Kiitossivu sisältää usein sivuston käyttäjälle luvatun maksuttoman sisällön latauslinkin. Tarkoitus on, että oppaan tai muun maksuttoman sisällön lataaja luovuttaa ensin yhteystietojaan, joita vastaan hän saa ladattua kyseisen sisällön.
Kiitossivuja ei lisätä sivuston navigaatioihin, koska sivuston käyttäjien ei toivota löytävän tietään suoraan maksuttomien sisältöjen lataussivuille. Jos näin tapahtuu, sivuston omistajan tavoite (yhteystietojen hankkiminen maksuttoman sisällön avulla) jää toteutumatta.
Samasta syystä kiitossivujen ei haluta myöskään löytyvän Googlen hakutuloksista. Sivuston omistaja haluaa, että hakutuloksissa näkyy pelkästään maksutonta sisältöä tarjoava laskeutumissivu, jonka kautta sisällön lunastaminen tapahtuu.
Muita sivuja, joiden ei yleensä haluta löytyvän hakukoneiden hakutulossivuilla ovat:
- Sivut, joilla on vähän käyttäjille tarkoitettua sisältöä
- Keskeneräiset sivut
- Joissakin tapauksissa mainoskampanjoiden laskeutumissivuina toimivat sivut
Robots.txt ei ole ratkaisu sivujen indeksoinnin hallintaan
Verkkosivuston tiedostojen juurihakemistoon voidaan sijoittaa robots.txt-tiedosto, joka sisältää hakukoneiden hakuroboteille tarkoitettuja ohjeita ja määräyksiä.
Yksi näistä määräyksistä on noindex-sääntö.
Noindex on hakukoneiden hakuroboteille annettava kielto jättää sivuston sisältöä indeksoimatta.
Noindex-komennon lisääminen robots.txt-tiedostoon ei kuitenkaan ole toimiva ratkaisu edellä kuvatun tavoitteen saavuttamiseen.
Vastoin yleistä käsitystä, Google ei ole milloinkaan virallisesti vahvistanut tukevansa tätä komentoa.
Heinäkuussa 2019 Google ilmoitti jättävänsä kyseisen komennon kokonaan huomioimatta.
Estä yksittäisten sivujen indeksointi robots meta -tagin avulla
Verkkosivuston yksittäisten sivujen indeksoinnin ja sen kautta löytymisen Googlen hakutuloksista voi kuitenkin estää.
Asia hoituu lisäämällä kiitossivujen ja muiden hakukoneiden indeksien ulkopuolella pidettäviksi tarkoitetuille sivuille erityinen hakuroboteille tarkoitettu metatieto.
Mikä robots meta -tagi on?
Robots meta -tagi on yksittäisen verkkosivun ylätunnisteen (<head>) sijoitettava metatietorivi, joka kertoo hakukoneiden hakuroboteille, miten suhtautua sivun indeksointiin ja esimerkiksi sivujen sisältämien linkkien seuraamiseen.
Sivun indeksoinnin estävä robots meta -tagi on alla:
<meta name=”robots” content=”noindex” />
Tagin ensimmäinen osa name=”robots” tarkoittaa sitä, että komento koskee kaikkien hakukoneiden hakurobotteja.
Tagissa oleva komento content=”noindex” tarkoittaa juuri sitä, että hakuroboteille annetaan määräys jättää kyseisen sivun sisältö indeksoimatta.
Sivulla olevien linkkien seuraamisen estävä robots meta -tagi on alla:
<meta name=”robots” content=”nofollow” />
Tämän komennon lisääminen sivun metatietoihin ei vaikuta millään tavalla linkkien takaa löytyvien sivujen indeksointiin. Se estää ainoastaan sivua tutkivaa hakurobottia seuraamasta linkkiä ja tutkimaan, mitä linkitetystä URL-osoitteesta löytyy.
Robots meta -tagin lisääminen yksittäiselle sivulle
Robots meta -tagin voi lisätä suoraan yksittäisen sivun HTML-koodiin.
Useimmat verkkosivustot on toteutettu julkaisujärjestelmällä, jolloin sivun ylätunnistetta voi muokata julkaisujärjestelmän sisällönmuokkaustyövälineillä.
Jos sivusto on toteutettu WordPress-julkaisujärjestelmällä, sivujen ja blogiartikkeleiden indeksointiasetusten hallinta käy helposti Yoast SEO -lisäosan avulla.
Oheisessa kuvassa näkyvät asetukset estävät sivun tai blogiartikkelin indeksoinnin.
Sivujen indeksoinnin hallinta on osa hakukoneoptimointia
Kiitossivujen ja muiden erityisiä tavoitteita varten luotujen sivujen piilottaminen hakutuloksista robots meta -tiedon avulla ei ole ainoa syy paneutua sivuston sivujen indeksointiin ja kieltää joidenkin sivujen indeksointi.
Sivuston sivujen indeksoinnin hallinta on yksi osa sivuston hakukoneoptimointia.
Hakukoneoptimoinnin tavoitteena on, että hakukoneiden indekseissä on mahdollisimman ajantasainen, ehjä ja mahdollisimman laaja kattaus verkkosivuston sisällöstä.
Esimerkiksi sivuston käyttäjille vain vähän arvoa tuottavien ja päällekkäisten sivujen indeksoinnin kieltäminen ovat keinoja tämän tavoitteen edistämiseen.
Mitä selkeämpi kuva Googlella ja muilla hakukoneilla on siitä, ketä varten sivusto on olemassa ja millaisiin kysymyksiin sieltä löytyy hyviä vastauksia, sitä mieluummin ne lähettävät sivustolle kävijöitä.
Siinä vaiheessa, kun mietit jonkin yksittäisen sivun mahdollista indeksointikieltoa, esitä itsellesi seuraava kysymys:
Onko sivulla sellaista tietoa, joka hyödyttää asiakastani niin paljon, että minun kannattaa houkutella hakukoneista kävijöitä juuri tälle sivulle?
Mikäli vastauksesi tähän kysymykseen on ei, sivun indeksointi kannattaa estää.