Zistite, v akom stave je váš web.

Crawlovanie webových stránok: Dajte Googlebotom mapu

Crawler je ako návštevník vo veľkomeste. Potrebuje mapu a zoznam najdôležitejších miest, aby si z návštevy odniesol len to najlepšie. Ako zabezpečiť, aby crawlovanie webových stránok prebehlo hladko a roboty pridali do indexu tie najdôležitejšie stránky z vášho webu?

mapa-crawlovanie

Obsah

Čo je crawlovanie vo vyhľadávaní?

Crawlovanie je proces, pri ktorom roboty vyhľadávacích nástrojov (web crawler, pavúky) objavujú, prechádzajú a sťahujú obsah na rôznych URL adresách. Neprechádzajú všetky URL adresy. Niektoré môžete vyňať pomocou informácie v súbore robots.txt.

Crawler o stránke zhromažďuje údaje vrátane textu, obrázkov či videí a snaží sa čo najlepšie pochopiť jej obsah. Získané dáta uloží do indexu – virtuálnej databázy, z ktorej pochádzajú všetky výsledky vyhľadávania.

Prečo potrebujete, aby bol web crawlovaný?

Bez crawlovania a následnej indexácie sa web neobjaví vo výsledkoch vyhľadávania. To znamená, že sa nezobrazíte v Googli a potenciálni zákazníci nájdu po zadaní dopytu len konkurenčné stránky.

Problémy s crawlovaním a indexáciou sa nemusia týkať celej stránky. Niekedy chýba dôležitá podstránka alebo Google indexuje nový obsah príliš pomaly.

Pre spravodajské weby je pomalá indexácia rovnako veľký problém ako žiadna. Ak píšete o výsledkoch športových podujatí alebo aktuálnych správach, ktoré sa do indexu dostávajú s časovým oneskorením, máte problém.

E-book zdarma
55 tipov pre úspešný
e-shop
Odoslaním tohto formulára súhlasíte s našimi zásadami o spracovávaní osobných údajov.
// GTM Push pre Elementor formuláre jQuery(document).ready(function ($) { $(".elementor-form").validate({ errorPlacement: function (error, element) { } }); console.log('GTM Listening...') jQuery(document).on('submit_success', function (evt) { let data = { 'event': 'form_submit', 'form_type': evt.target.name.toLowerCase().replaceAll(' ', '_'), 'step': '1', user: {} } Array.from(evt.target.querySelectorAll('.elementor-field-textual')).forEach(field => { data.user[field.name.replace(/\bform_fields\b|\[|\]/g, '')] = field.value; }) window.dataLayer = window.dataLayer || []; dataLayer.push(data); }); });

Ako funguje crawlovanie webových stránok?

Práca crawlerov je presne definovaná a pozostáva z nasledujúcich krokov:

  • Objavovanie URL adries: Existuje niekoľko spôsobov, ako sa crawleri dozvedia o nových stránkach. Pomocou sitemáp, cez predtým prehľadávané weby alebo interné a externé odkazy.
  • Stiahnutie obsahu: Keď crawler objaví URL adresu, stiahne jej obsah vrátane HTML, obrázkov a iných mediálnych súborov.
  • Indexovanie a extrahovanie odkazov: Stiahnutý obsah crawler analyzuje a rozhodne o jeho zaradení, alebo nezaradení do indexu. Zaindexovanej URL adrese pridelí pre konkrétne kľúčové slová pozíciu vo výsledkoch vyhľadávania. Zároveň vytiahne odkazy do ďalšieho plánu crawlovania. Samozrejme len tie, ktoré sú podstatné a zodpovedajú usmerneniam webu.
  • Prioritizácia URL adries: Každú URL adresu, ktorú potrebuje crawler opäť navštíviť, zaradí do zoznamu a priradí jej prioritu na základe relevancie a dôležitosti.

Prečo nie sú všetky stránky zaindexované?

Crawlovaním webových stránok vyhľadávač, najčastejšie Google, neprestajne dopĺňa index o nové stránky. Takto neustále aktualizuje dáta o nový obsah.

Google, pochopiteľne, neindexuje všetky stránky. Mnohé ani nepotrebujete, aby zaindexoval (napríklad niektoré podstránky vytvorené filtráciou, vybrané varianty produktov alebo kroky v košíku).

Nedochádza k indexácii

Chýbajúca indexácia stránky často súvisí so zákazom prechádzania danej podstránky uvedenom v súbore robots.txt. Nastavuje sa pomocou príkazu “disallow”. Ak máte v robots.txt podstránky za príkazom disallow, preverte, či naozaj chcete, aby roboty stránky nenavštevovali alebo ide o omyl.

Zaujíma vás, v akom stave je váš web? Vygenerujte si PDF audit webu.

Ako optimalizovať crawlovanie webových stránok?

Na zvýšenie efektivity prechádzania webovej stránky potrebujete jednoduchú štruktúru URL adries, zrozumiteľné sitemapy, sieť interného a externého prelinkovania a niekoľko ďalších nástrojov a taktík. Všetky si postupne prejdeme aj s praktickými ukážkami.

Optimalizujte XML sitemapy

Na organizáciu webu pre botov slúži sitemapa, ktorá má xml formát a odporúčame ju pre každý web, ktorý má viac ako 100 podstránok. V ideálnom prípade ju generujte pomocou pluginov pravidelne a automaticky.

Ako vyzerá a čo obsahuje sitemapa?

Na prvý pohľad vyzerá ako obsah webu, ale pre roboty. Vďaka nej vedia, ktoré stránky webu sú tie najdôležitejšie. V sitemapách by mali byť iba tie stránky, ktoré chcete, aby skončili v indexe.

Sitemapa by mala okrem URL adresy obsahovať aj dátum poslednej modifikácie. Vďaka nemu prichádzajúci robot vie, na ktorých stránkach nastali zmeny od jeho poslednej návštevy.

Pozor na crawl budget a priechodnosť webu

Každý web potrebuje, aby Google roboty pravidelne navštevovali dôležité podstránky a čo najskôr odhalili nové. Robot má však na web vyhradenú len obmedzenú výpočtovú kapacitu. Ako z nej získať čo najviac?

Čo je to crawl budget

Vyhľadávač prideľuje webovým stránkam crawl budget na základe odozvy zo servera, veľkosti webu, frekvencie, ktorou aktualizujete stránky a prelinkovania stránok (interného aj externého). Zjednodušene môžeme povedať, že Google prechádza populárne URL adresy oveľa častejšie.

“Najzásadnejší nástroj pre optimalizáciu crawlovania je rozhodne dobre nakonfigurovaný robots.txt a pravidelne aktualizovaná Sitemapa s dobre nastaveným <lastmod> tagom.

Ako SEO špecialisti však musíme monitorovať a zabezpečiť “zdravie prechádzania”. To znamená eliminovať 5XX stavové kódy, soft 404 či reťazové presmerovanie. Nesmieme zabudnúť ani na každodenný chlebíček SEO špecialistu, duplicitný obsah,” prezrádza náš SEO špecialista Martin Gajdoš.

Odstráňte duplicitné stránky z vyhľadávania

Duplicitný obsah komplikuje indexovanie webu. Duplicita znamená, že existuje viacero URL adries, na ktorých je identický alebo veľmi podobný obsah. Googlebot sa potom nevie rozhodnúť, ktorá stránka je hlavná a môže mylne prideliť nesprávnu hodnotu. Výsledkom sú nižšie pozície vo vyhľadávaní.

V prípade e-shopu vzniká duplicita najčastejšie filtráciou produktov. Stáva sa to najmä pri cene. Ak návštevník posunie cenu čo i len o jedno euro, pravdepodobne sa zobrazí veľmi podobná stránka s takmer identickým obsahom a duplicita je na svete.

V takom prípade musíte URL adresu odlíšiť pri každej jednej filtrácii, správne nastaviť kanonizáciu alebo zákazať botom prechádzanie týchto stránok v robots.txt.

Príklad z praxe: IBO

Pri partnerovi IBO sme museli vyriešiť predovšetkým problém s technickým SEO. Komplikácie vznikali pri indexácii, keď roboty prechádzali aj stránky bez väčšej hodnoty.

E-shop mal viac ako 3 milióny indexovaných stránok a 6 miliónov neindexovaných, z ktorých väčšinu tvorili duplicity z filtrácie.

Problém sme vyriešili správnym nastavením pravidiel indexácie pre vyhľadávače.

Pri webstránke takýchto rozmerov vždy riešte crawl budget (výpočtovú kapacitu, ktorú vyhľadávač alokuje na spracovanie stránky) a jeho efektívne využitie.

Nakonfigurovali sme súbor robots.txt, ktorý jasne stanovuje pravidlá pre roboty. Vytvorili sme aj samostatné sitemapy pre kategórie produktov, jednotlivé produkty alebo vypredaný sortiment. Vylúčili sme z indexovania všetky podstránky, ktoré vznikajú pri vyhľadávaní na webe, pri registrácii alebo prihlásení sa do účtu.

robots.txt ibo

Robots.txt pre web ibo.sk, kde sme upravili pravidlá indexácie pre Googlebotov s ohľadom na ciele e-shopu.

Spolu s úpravou textov v hlavných kategóriách, tvorbou blogu, interným prelinkovaním a kvalitným obsahom sa nám podarilo dostať IBO na priemernú prvú pozíciu na všetky relevantné frázy. Medziročne narástol počet impresií o 133 % a organická návštevnosť o 26 %.

štatistika priemerných pozícií IBO z Marketing Mineru

Až 69 % sledovaných kľúčových slov sa zobrazuje na Google do maximálne desiatej pozície. Predstavuje to niekoľkonásobný náskok pred konkurenciou.

Podporte crawlovanie internými odkazmi

Interné odkazy majú veľký vplyv na efektívne crawlovanie. Optimalizujte štruktúru interných odkazov na webovej stránke a zabezpečte jednoduchú navigáciu a prístupnosť relevantných stránok.

Ak strategicky prepojíte rôzne webové stránky, dáte crawlerom jednoznačne najavo, že stránka A súvisí so stránkou B. Zároveň tak vyhľadávač lepšie pochopí obsah webu a vzájomné prepojenie stránok.

Skvelou technikou na budovanie interného prelinkovania sú tematické klastre.

Odstráňte obsah bez hodnoty

Vyčistite webovú stránku od nekvalitného, zastaraného alebo duplicitného obsahu, ktorý odvádza pozornosť crawlerov od nového alebo nedávno aktualizovaného obsahu. Zlúčte podobný obsah a použite presmerovanie 301.

Neindexuje sa váš web správne?

Crawlovanie webových stránok je kľúčovým aspektom SEO a ovplyvňuje indexovanie vášho obsahu vo výsledkoch vyhľadávania. Ak sa váš obsah indexuje neskoro, máte problém s duplicitnými podstránkami alebo crawl budgetom, radi vám pomôžeme.

Náš tím SEO špecialistov má skúsenosti s malými aj veľkými e-shopmi a dokáže zabezpečiť, aby Google našiel a správne zaindexoval všetky najdôležitejšie podstránky.

Ďakujeme Dexfinity redakcii, vďaka ktorej
vznikol tento článok

Pomáhame e-shopom s akceleráciou rastu cez export, provízny online marketing a automatizáciu. Nie sme PPC agentúra, ale biznis partner pre váš rast. Poďte s nami ďalej, za hranice.

//Gets slug(2) from the current location let slug = location.pathname.split("/").slice(2); const userData = ""; const meno = ""; const uloha = ""; var html = ""; //Fetches the current post author ID & role in the redaction fetch( `https://www.dexfinity.com/wp-json/wp/v2/posts?slug=${slug}&_fields=acf.redakcia` // `https://www.dexfinity.com/wp-json/wp/v2/posts?slug=/zapalte-ppc-kampane-7-chyb-ktore-brzdia-predaje/&_fields=acf.redakcia` ) .then((response) => response.json()) .then((data) => { let userData = data[0].acf.redakcia; for (let i = 0; i response.json()) .then((data) => { let img = data.simple_local_avatar.full; displayHTML(data.name, uloha, data.link, img); }); } function displayHTML(meno, uloha, link, img) { html += `
${meno} +

${meno}

${uloha}

`; document.getElementById("root").innerHTML = html; } #root a { text-decoration: none; color: black; width: 50%; border: solid #0000001c; border-width: 0px 1px 1px 0px; } #root a:nth-child(even) { border-width: 0px 0px 1px 0px; } #root a:nth-child(3) { border-width: 0px 1px 0px 0px; } #root a:nth-child(4) { border-width: 0px 1px 0px 0px; } .flexBox { display: flex; } .memberRedakcia { flex-direction: row; padding: 30px; gap: 2vw; } .imageRedakciaMember { flex-shrink: 0; width: 100px; height: 100px; border-radius: 5px; overflow: hidden; border: solid 1px #DBDFE2; } .imgMember { width: auto; height: 105% !important; object-fit: cover; } .infoMember { flex-direction: column; justify-content: space-around; } .contentMember { text-decoration: none; text-align: left; } .infoMember h3 { margin: 0; font-size: 1.5em; font-weight: 600; } .infoMember p { margin: 0; } #root { overflow: hidden; height: auto; flex-wrap: wrap; flex-direction: row; justify-content: space-between; } @media only screen and (max-width: 600px) { #root a { width: 100%; border: none; } .memberRedakcia { flex-direction: row; gap: 7vw; font-size: .93em; padding: 7vw } .infoMember h3 {line-height: 1.2em;} }

Zdieľajte článok

KONTAKTY NAPRIAMO

Spojme sily.

Ukážte nám váš projekt a pobavíme sa o potenciáli jeho rastu.

Michal Lichner

Michal Lichner
Head of Sales & Biz. Development
+421 911 585 689
michal.lichner@dexfinity.com

Group-39-200x200

Tomáš Karaba
Sales & Biz. Development
+421 904 979 851
tomas.karaba@dexfinity.com

Pavol Adamčák
Executive Director
+421 918 435 105
pavol.adamcak@dexfinity.com

Vyberte, o čo máte záujem a nebojte sa označiť viac možností.

    Odoslaním tohto formulára súhlasíte s našimi zásadami o spracovávaní osobných údajov.
    Odoslaním tohto formulára súhlasíte s našimi zásadami o spracovávaní osobných údajov.