Robots.txt vs. robots metatagi – näin estät sivun näkymisen hakutuloksissa

Robots meta piilota sivu Googlen hakutuloksista

Vastoin yleistä käsitystä, robots.txt-tiedosto ei ole toimiva ratkaisu sivuston yksittäisten sivujen indeksoinnin hallintaan. Robots metatagi on oikea tapa kertoa hakuroboteille, pitääkö niiden indeksoida sivu vai ei.

Miksi jonkin sivun näkyminen hakutuloksissa pitäisi estää?

Verkkosivuston omistajan tavoitteena on yleensä, että Google ja muut hakukoneet tallentaisivat sivuston sisällön mahdollisimman kattavasti tietokantaansa.

Syy on yksinkertainen:

Mitä enemmän yksittäisiä sivuja on tallennettu hakukoneiden tietokantaan eli indeksoitu, sitä enemmän sivustolla on mahdollisuuksia tulla löydetyksi hakutuloksissa.

Tästäkin säännöstä on kuitenkin poikkeuksia.

Useimmilla verkkosivustoilla on yksittäisiä sivuja, joiden ei haluta löytyvän Googlen hakutuloksissa.

Nämä sivut ovat usein sellaisia sivuja, joille ohjataan kävijöitä jonkin konversiotapahtuman jälkeen.

Tällainen on esimerkiksi maksuttoman oppaan tai muun niin sanotun liidimagneetin tilauksen jälkeen sivuston käyttäjälle näytettävä kiitossivu.

Kiitossivu sisältää usein sivuston käyttäjälle luvatun maksuttoman sisällön latauslinkin. Tarkoitus on, että oppaan tai muun maksuttoman sisällön lataaja luovuttaa ensin yhteystietojaan, joita vastaan hän saa ladattua kyseisen sisällön.

Kiitossivuja ei lisätä sivuston navigaatioihin, koska sivuston käyttäjien ei toivota löytävän tietään suoraan maksuttomien sisältöjen lataussivuille. Jos näin tapahtuu, sivuston omistajan tavoite (yhteystietojen hankkiminen maksuttoman sisällön avulla) jää toteutumatta.

Samasta syystä kiitossivujen ei haluta myöskään löytyvän Googlen hakutuloksista. Sivuston omistaja haluaa, että hakutuloksissa näkyy pelkästään maksutonta sisältöä tarjoava laskeutumissivu, jonka kautta sisällön lunastaminen tapahtuu.

Muita sivuja, joiden ei yleensä haluta löytyvän hakukoneiden hakutulossivuilla ovat:

  • Sivut, joilla on vähän käyttäjille tarkoitettua sisältöä
  • Keskeneräiset sivut
  • Joissakin tapauksissa mainoskampanjoiden laskeutumissivuina toimivat sivut

Robots.txt ei ole ratkaisu sivujen indeksoinnin hallintaan

Verkkosivuston tiedostojen juurihakemistoon voidaan sijoittaa robots.txt-tiedosto, joka sisältää hakukoneiden hakuroboteille tarkoitettuja ohjeita ja määräyksiä.

Yksi näistä määräyksistä on noindex-sääntö.

Noindex on hakukoneiden hakuroboteille annettava kielto jättää sivuston sisältöä indeksoimatta.

Noindex-komennon lisääminen robots.txt-tiedostoon ei kuitenkaan ole toimiva ratkaisu edellä kuvatun tavoitteen saavuttamiseen.

Vastoin yleistä käsitystä, Google ei ole milloinkaan virallisesti vahvistanut tukevansa tätä komentoa.

Heinäkuussa 2019 Google ilmoitti jättävänsä kyseisen komennon kokonaan huomioimatta.

Estä yksittäisten sivujen indeksointi robots meta -tagin avulla

Verkkosivuston yksittäisten sivujen indeksoinnin ja sen kautta löytymisen Googlen hakutuloksista voi kuitenkin estää.

Asia hoituu lisäämällä kiitossivujen ja muiden hakukoneiden indeksien ulkopuolella pidettäviksi tarkoitetuille sivuille erityinen hakuroboteille tarkoitettu metatieto.

Mikä robots meta -tagi on?

Robots meta -tagi on yksittäisen verkkosivun ylätunnisteen (<head>) sijoitettava metatietorivi, joka kertoo hakukoneiden hakuroboteille, miten suhtautua sivun indeksointiin ja esimerkiksi sivujen sisältämien linkkien seuraamiseen.

Sivun indeksoinnin estävä robots meta -tagi on alla:

<meta name=”robots” content=”noindex” />

Tagin ensimmäinen osa name=”robots” tarkoittaa sitä, että komento koskee kaikkien hakukoneiden hakurobotteja.

Tagissa oleva komento content=”noindex” tarkoittaa juuri sitä, että hakuroboteille annetaan määräys jättää kyseisen sivun sisältö indeksoimatta.

Sivulla olevien linkkien seuraamisen estävä robots meta -tagi on alla:

<meta name=”robots” content=”nofollow” />

Tämän komennon lisääminen sivun metatietoihin ei vaikuta millään tavalla linkkien takaa löytyvien sivujen indeksointiin. Se estää ainoastaan sivua tutkivaa hakurobottia seuraamasta linkkiä ja tutkimaan, mitä linkitetystä URL-osoitteesta löytyy.

Robots meta -tagin lisääminen yksittäiselle sivulle

Robots meta -tagin voi lisätä suoraan yksittäisen sivun HTML-koodiin.

Useimmat verkkosivustot on toteutettu julkaisujärjestelmällä, jolloin sivun ylätunnistetta voi muokata julkaisujärjestelmän sisällönmuokkaustyövälineillä.

Jos sivusto on toteutettu WordPress-julkaisujärjestelmällä, sivujen ja blogiartikkeleiden indeksointiasetusten hallinta käy helposti Yoast SEO -lisäosan avulla.

Oheisessa kuvassa näkyvät asetukset estävät sivun tai blogiartikkelin indeksoinnin.

Meta robots-tagin lisääminen Yoast SEO -lisäosan avulla

Sivujen indeksoinnin hallinta on osa hakukoneoptimointia

Kiitossivujen ja muiden erityisiä tavoitteita varten luotujen sivujen piilottaminen hakutuloksista robots meta -tiedon avulla ei ole ainoa syy paneutua sivuston sivujen indeksointiin ja kieltää joidenkin sivujen indeksointi.

Sivuston sivujen indeksoinnin hallinta on yksi osa sivuston hakukoneoptimointia.

Hakukoneoptimoinnin tavoitteena on, että hakukoneiden indekseissä on mahdollisimman ajantasainen, ehjä ja mahdollisimman laaja kattaus verkkosivuston sisällöstä.

Esimerkiksi sivuston käyttäjille vain vähän arvoa tuottavien ja päällekkäisten sivujen indeksoinnin kieltäminen ovat keinoja tämän tavoitteen edistämiseen.

Mitä selkeämpi kuva Googlella ja muilla hakukoneilla on siitä, ketä varten sivusto on olemassa ja millaisiin kysymyksiin sieltä löytyy hyviä vastauksia, sitä mieluummin ne lähettävät sivustolle kävijöitä.

Siinä vaiheessa, kun mietit jonkin yksittäisen sivun mahdollista indeksointikieltoa, esitä itsellesi seuraava kysymys:

Onko sivulla sellaista tietoa, joka hyödyttää asiakastani niin paljon, että minun kannattaa houkutella hakukoneista kävijöitä juuri tälle sivulle?

Mikäli vastauksesi tähän kysymykseen on ei, sivun indeksointi kannattaa estää.

Tilaa Digiopiston blogi

Päivitä osaamistasi jatkuvasti – tilaa Digiopiston blogi. Saat hyödylliset artikkelit jatkossa suoraan sähköpostiisi.

Yhteystietojasi säilytetään ja käytetään sivuston tietosuojaselosteessa kerrotulla tavalla. Voit milloin tahansa perua blogiartikkeleiden tilauksen.

Ota yhteyttä

Lähetä viestisi alla olevalla lomakkeella. Täytäthän ystävällisesti kaikki pyydetyt tiedot.

Tällä lomakkeella ilmoittamiasi yhteystietoja käytetään vain yhteydenottoosi vastaamiseen.