Čo je robots.txt?
Robots.txt je textový súbor v koreňovom priečinku webu, ktorý vyhľadávacím robotom (napríklad Googlebotu) hovorí, ktoré časti stránky môžu prehľadávať a ktoré nie. Nejde o zabezpečenie, len o odporúčanie pre slušné roboty.
Prečo je robots.xtx dôležitý?
Robots.txt rozhoduje, kam sa vyhľadávače pri prehľadávaní vôbec pozrú, a tým priamo ovplyvňuje, čo z webu Google uvidí. Keď je nastavený nesprávne, môže omylom zablokovať celý web alebo dôležité sekcie pred Googlom, a to aj bez toho, aby si to majiteľ webu všimol, pretože stránka sa návštevníkom stále zobrazuje normálne.
Správne nastavený robots.txt šetrí tzv. crawl budget, teda čas a kapacitu, ktorú robot venuje prehľadávaniu webu. Vďaka tomu sa roboty nestrácajú v nepodstatných stránkach ako filtre, košík či admin sekcia a viac pozornosti venujú obsahu, ktorý má priniesť návštevy z vyhľadávania.
Najčastejšie chyby
- Najčastejšia chyba je, že sa v súbore nechtiac ocitne príkaz Disallow: /, ktorý zablokuje úplne celý web. Stáva sa to najmä po migrácii na nový CMS, keď programátor zabudne odstrániť pravidlo, ktoré používal počas vývoja.
- Druhá bežná chyba je zámena robots.txt s meta tagom noindex, ľudia si myslia, že zablokovaná stránka automaticky zmizne z vyhľadávania, no ak na ňu vedú odkazy, Google ju môže aj tak zobraziť, len bez popisu.
Časté je aj to, že firmy súbor rok čo rok nikto nekontroluje, hoci sa štruktúra webu medzitým zmenila. Robots.txt tak blokuje už neexistujúce priečinky, zatiaľ čo nové dôležité sekcie ostávajú bez pravidiel, ktoré by im pomohli.
