Čo je crawling?

Aký význam má crawling?

Bez crawlovania sa stránka nedostane do indexu a teda ani do výsledkov vyhľadávania. Robot musí stránku najprv nájsť a prečítať, až potom ju môže Google zaradiť do indexu a zobrazovať v SERP.

Ak sa robot na stránku nedostane, pre vyhľadávač prakticky neexistuje, bez ohľadu na to, aký kvalitný obsah na nej je.

Pri väčších weboch alebo e-shopoch s tisíckami produktov je dôležitý aj tzv. crawl budget, teda koľko kapacity robot venuje danému webu.

Keď crawler strávi čas na nedôležitých alebo chybných stránkach, k dôležitým sa môže dostať neskôr alebo vôbec, čo priamo ovplyvňuje, ako rýchlo sa nový obsah objaví vo vyhľadávaní.

Ako robotom uľahčiť crawling?

• Udržuje prehľadnú štruktúru interných odkazov, aby sa crawler ľahko dostal z homepage na všetky dôležité stránky.
• Vytvorte si sitemap.xml a nahrajte ju do Google Search ConsoleGoogle Search Console je bezplatný nástroj od Google, ktorý majiteľom webov pomáha monitorovať a optimalizovať prítomnosť ich stránok vo výsledkoch vyhľadávania. , aby mal robot jasný zoznam adries na webe.
• Skontrolujte súbor robots.txtRobots.txt je textový súbor v koreňovom priečinku webu, ktorý vyhľadávacím robotom (napríklad Googlebotu) hovorí, ktoré časti stránky môžu prehľadávať a ktoré nie. Nejde o zabezpečenie, len o odporúčanie pre slušné roboty., či nezakazujete prehľadávanie dôležitých sekcií webu omylom.
• Odstráňte alebo presmerujte mŕtve odkazy a duplicitné stránky, ktoré zbytočne míňajú crawl budget.
• Sledujte chyby prehľadávania, ako 404 alebo server error, a opravte ich skôr, než sa nahromadia.

Najčastejšie chyby

Častou chybou je zablokovanie dôležitých stránok v robots.txt bez toho, aby si to niekto všimol, napríklad po migrácii webu alebo zmene platformy. Rovnako problematické je, keď má web priveľa interných presmerovaní alebo slepých uličiek, kam sa robot dostane, ale ďalej sa nepohne.

Mnoho majiteľov webov si mýli crawling s indexovaním a myslí si, že keď robot stránku navštívi, automaticky skončí aj v indexe. V skutočnosti ide o dva oddelené kroky a stránka môže byť prehľadaná, ale napríklad pre slabý obsah alebo tag noindex sa do indexu nedostane.