Co se v tomto článku dozvíte

Meta tag robots říká vyhledávačům, které stránky mají indexovat a jakým způsobem. Podrobně si ukážeme některé složitosti tohoto tagu a vysvětlíme si, jak ho používat v praxi.

Co to je meta tag robots?

Tento tag se slouží pro upřesnění, co mají vyhledávače indexovat a zobrazit ve výsledcích vyhledávání. Najdete ho ve zdrojovém kódu stránky a nejspíš bude vypadat nějak takto:

<meta name="robots" content="noindex,follow" />

V tomto konkrétním případě jde o signál vyhledávačům, aby danou stránku neindexovaly, ale sledovaly její odkazy a přenesly na ně autoritu. Direktivy (noindex,follow) budou blíže vysvětleny později.

Proč je meta tag robots důležitý

Ať už se staráte o vlastní web nebo pracujete jako SEO specialista, musíte umět vyhledávačům jasně říct, jak mají web indexovat. V tom vám pomůže právě meta tag robots.

I když už v dnešní době vyhledávače dokážou mnohé, pokud jde o indexaci, rozhodnutí, které stránky budou indexované a které ne, byste určitě neměli nechávat pouze na jejich algoritmech. To samo o sobě už stačí na to, aby se meta tag robots stal nedílnou součástí vašich SEO nástrojů.

Často se používá v boji proti duplicitnímu obsahu - pokud máte stejné nebo velmi podobné stránky dostupné na více URL (vyhledávače tak dostávají velmi zmatené signály a to rozhodně není žádoucí).

Je třeba ale zmínit, že existují i jiné, často lepší, způsoby, jak předcházet problémům s duplicitním obsahem: pomocí kanonických odkazů a souboru robots.txt. Přesto existuje pár případů, kdy je nejvhodnějším řešením právě meta tag robots, ale k těm se dostaneme později.

Jednotlivé direktivy meta tagu robots

Jednou ze skvělých vlastností tohoto tagu je jeho univerzálnost. Tady je seznam všech direktiv, které máte k dispozici, abyste vyhledávačům jasně sdělili, co mají indexovat:

noindex

Direktiva noindex říká vyhledávačům, aby danou stránky nezobrazovaly ve výsledcích vyhledávání.

nofollow

Direktiva nofollow říká vyhledávačům, aby ignorovaly odkazy na dané stránce a nepřipisovaly jim žádnou autoritu.

none

Direktiva none říká vyhledávačům, aby celou stránku v podstatě ignorovaly. Občas se také používá místo kombinace direktiv noindex a nofollow.

Tip: ať už používáte direktivu none nebo noindex,nofollow, měli byste robotům ještě zakázat přístup na tuto stránku pomocí souboru robots.txt.

noarchive

Direktiva noarchive říká vyhledávačům, aby nezobrazovaly cachovanou verzi stránky.

nosnippet

Direktiva nosnippet říká vyhledávačům, aby nezobrazovaly ve výsledcích vyhledávání úryvky z vaší stránky namísto meta description a také brání v cachování stránky.

noodp

Direktiva noodp bránila vyhledávačům používat ve výsledcích vyhledávání úryvek z DMOZ (otevřený adresář spravovaný dobrovolníky) namísto meta description. Od května 2017 už DMOZ nefunguje, takže nemá cenu dál používat tuto direktivu.

notranslate

Direktiva notranslate říká vyhledávačům, aby nenabízely ve výsledcích přeloženou verzi stránky.

unavailable_after

Direktiva unavailable_after říká vyhledávačům, aby po určitém datu stránku už nezobrazovaly. Toto datum/čas musí být ve formátu RFC 850.

index a all

Direktiva index a all říká vyhledávačům, že si přejete, aby stránku indexovaly. Obvykle ji není třeba používat, protože vyhledávače indexují stránky automaticky (pokud nenastavíte něco jiného, vyhledávače budou vždy stránku indexovat a sledovat její odkazy).

follow a all

Direktiva follow a all říká vyhledávačům, aby sledovaly odkazy na stránce a přenášely na ně autoritu. Stejně jako u direktivy index i tady jde o automatické nastavení a obvykle tedy není třeba to specifikovat.

Kdy byste měli meta tag robots používat

Ačkoliv je meta tag robots účinný způsob, jak instruovat vyhledávače ohledně zacházení s vaším obsahem, obvykle se nepoužívá. Pokud chcete zakázat indexaci nějaké stránky, použijte raději kanonický odkaz nebo úplně zakažte vyhledávačům přístup na stránku pomocí souboru robots.txt. Pokud z nějakého důvodu nemůžete použít poslední dva zmíněné způsoby, pak se i meta tag robots stává účinnou zbraní proti duplicitnímu obsahu.

Speciální případ použití meta tagu robots je u provizorních stránek. Občas se může stát, že potřebujete publikovat stránku, která ještě není kompletně dokončená a má málo obsahu. Pokud chcete zabránit předčasné indexaci stránky, meta tag robots je vhodným řešením.

Kombinování jednotlivých direktiv

Je běžné používat pro vyhledávače více příkazů naráz. Direktivy meta tagu robots jsou k tomu zdaleka nejvhodnější. V jednom příkazu můžete použít více direktiv, které umožní provést několik akcí najednou.

Příklad:

<meta name="robots" content="noindex,nofollow” />

V některých situacích se může hodit používat pro různé roboty různé direktivy. V následujícím příkladu platí pro Google obě direktivy, noindex i nofollow, zatímco pro Bing a ostatní vyhledávače pouze nofollow.

<meta name="robots" content="nofollow" /> <meta name="googlebot" content=“noindex" />

Pokud se stane, že máte protichůdné direktivy, vyhledávače se budou automaticky řídit tou nejpřísnější z nich (podobně jako v případě souboru robots.txt).

HTTP hlavička X-Robots-Tag

Pokud chcete zakázat indexaci jiných souborů než HTML (např. obrázků, PDF souborů,...), nejlepší volbou je HTTP hlavička X‑Robots‑Tag. Když webový server odpovídá na požadavek prohlížeče nebo vyhledávače, neposílá mu pouze "obsah", ale i hlavičky HTTP. Pomocí HTTP hlavičky X‑Robots‑Tag může server poslat specifickou direktivu i pro jiné soubory než jen HTML.

Pokud například používáte webový server Apache a chcete použít X‑Robots‑Tag noindex,nofollow pro všechny soubory PDF, použijete následující kód:

<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex,nofollow" </Files>

Totéž můžete udělat pro obrázky ve formátu png, jpg a gif:

<Files ~ “\.(png|jpe?g|gif)$"> Header set X-Robots-Tag "noindex" </Files>

Nastavení hlavičky X-Robots-Tag vyžaduje obvykle změny v nastavení webového serveru. Pokud se to neudělá správně, může to mít negativní dopad na celý web. V případě, že si tím nejste úplně jistí, přenechte to raději administrátorovi serveru.

Meta tag robots vs hlavička X-Robots-Tag vs robots.txt

Existuje několik různých způsobů, jak komunikovat s vyhledávači ohledně indexace. Každý z nich se hodí pro něco jiného. Kdy který použít? Tady je krátký přehled pro každou metodu:

Meta tag robots: tato metoda se hodí, pokud chcete sdělit vyhledávačům, které stránky mají nebo nemají indexovat. Na základě toho mohou například celou stránku ignorovat nebo se rozhodnout, které odkazy budou sledovat a které ne.

Hlavička X-Robots-Tag: tato metoda je podobná meta tagu robots, ale místo toho, abyste přidali specifikace do HTML kódu stránky, nastavíte je na úrovni webového serveru. Pro jiné soubory než HTML (PDF soubory, obrázky,...) je to jediný způsob, jak zabránit jejich indexaci. Pro ně se tedy tato metoda používá nejčastěji.

Robots.txt: soubor robots.txt se hodí, pokud chcete sdělit vyhledávačům, na které stránky mají nebo nemají mít přístup. Je důležité si uvědomit, že pokud jim zabráníte v přístupu na určitou stránku, nikdy nebudou moct správně indexovat její obsah.

Často kladené otázky

Některé často kladené otázky ohledně meta tagu robots:

  1. Co když mezi jednotlivými pokyny nejsou mezery?
  2. Co když v meta tagu robots chybí čárky?
  3. Záleží na malých a velkých písmenech?
  4. Kde najdu hlavičku X-Robots-Tag?
  5. Procházejí vyhledávače stránky, které mají meta tag robots?

1. Co když mezi jednotlivými pokyny nejsou mezery?

Žádný strach, všechny hlavní vyhledávače mezery mezi jednotlivými pokyny vůbec neberou v úvahu. Mezery tedy nejsou rozhodujícím faktorem (viz následující příklad):

<HEAD> <meta name=”ROBOTS” content=”noarchive,noodp,noydir” /> </HEAD>

je totéž co

<meta name=”ROBOTS” content=”noarchive, noodp, noydir” />

2. Co když v meta tagu robots chybí čárky?

Určitě je lepší čárky používat. Bing tvrdí, že nerozlišuje mezi tím, jestli tam čárky jsou nebo ne, Google to ale rozlišuje. A to už je pádný důvod čárky používat. Tady je příklad, JAK TO NEMÁ BÝT:

<meta name=”ROBOTS” content=”noarchive noodp noydir” />

3. Záleží na malých a velkých písmenech?

Ne. Google, Yahoo i Bing rozpoznají příkaz, ať používáte malá nebo velká písmena. Názorný příklad:

<meta name=”ROBOTS” content=”NOODP” /> <meta name=”robots” content=”noodp” /> <meta name=”Robots” content=”NoOdp” />

4. Kde najdu hlavičku X-Robots-Tag?

Najdete ji mezi HTTP hlavičkami. Pokud ji budete hledat ve svém prohlížeči bude to vyžadovat trochu technických znalostí, doporučujeme proto použít na to nástroj jako ContentKing.

5. Procházejí vyhledávače stránky, které mají meta tag robots?

Ano, pokud v souboru robots.txt nepoužijete nějakou direktivu, která by jim přístup na určité stránky zakazovala.

Závěr

Meta tag robots je jedním z prostředků, jak předcházet problémům s duplicitním obsahem. Hodí se zejména u provizorních stránek, kde zabrání jejich předčasné indexaci. V ostatních případech je lepší použít kanonické URL nebo soubor robots.txt. Pokud to z nějakého důvodu nejde, pak je i meta tag robots vhodným řešením, jak mít indexaci a zobrazování webu ve vyhledávačích pod kontrolou.

Získejte zkušební verzi na 14 dní zdarma

Začněte během 20 vteřin

Vložte platnou doménu, prosím (www.priklad.cz).
  • Platební karta není potřeba
  • Není třeba žádná instalace
  • Bez závazků