Existují dva způsoby, jak zabránit našim robotům v přístupu k určitým částem vašeho webu: prostřednictvím souboru robots.txt pro daný web nebo využitím seznamu vyloučených URL adres v aplikaci ContentKing.

DŮLEŽITÉ VĚDĚT: Když použijete metody popsané níže k vyloučení určitých částí svého webu z monitorování, bude to mít za následek také odstranění všech existujících dat, které o nich ContentKing nashromáždil. A ačkoliv můžete tyto URL adresy začít kdykoliv znovu monitorovat, tato data již obnovena nebudou.

Použití seznamu vyloučených URL

Nejsnazší metodou je nastavení seznamu vyloučených URL. Uvnitř aplikace stačí jít do nastavení webu skrze Účet -> Webové stránky. Úplně dole pak klikněte na “Nastavit seznam vyloučených URL”. Jako první se objeví okno s krátkým vysvětlením seznamu vyloučených URL.

Pokud má daný web soubor robots.txt, v dalším kroku vám ContentKing zobrazí nalezené direktivy. V tomto kroku vyberte, které direktivy (pokud nějaké existují), které chcete importovat:

ContentKing vyloučení URL

Pokud chcete, přejděte na další obrazovku a přidejte vlastní vzorec pro URL, která chcete vyloučit. Seznam vyloučených URL následuje formát souboru robots.txt. Pokud jste importovali existující direktivy pro soubor robots.txt, najdete je zde také.

V momentě, kdy je vše nastavené podle vaší představy, klikněte na “Použít změny”. Vyloučení URL se poté projeví během několika minut.

Použití souboru robots.txt

Druhým způsobem, jak zabránit ContentKingu v monitorování určitých částí webu, je použití souboru robots.txt. Vzhledem k tomu, že ale jedním z případů použití ContentKingu je detekce nesprávně nakonfigurovaných souborů robots.txt, ignorujeme zástupné znaky v user-agent řetězcích. Chcete-li cílit na naše procházecí roboty, použijte namísto toho KingKevinBot user-agent string.

User-agent: KingKevinBot
Disallow: /admin

Naši procházecí roboti plně podporují formát souboru robots.txt.

Získejte zkušební verzi na 14 dní zdarma

Začněte během 20 vteřin

Vložte platnou doménu, prosím (www.priklad.cz).
  • Platební karta není potřeba
  • Není třeba žádná instalace
  • Bez závazků