Crawl budget to liczba adresów, które robot Google odwiedzi w serwisie w określonym czasie. Składają się na niego dwie rzeczy: ile serwer wytrzyma bez spowolnienia i jak bardzo Google chce daną stronę odwiedzać. Przy serwisie do kilkuset podstron to pojęcie teoretyczne. Zaczyna mieć znaczenie przy dużych sklepach i portalach, gdzie adresów są dziesiątki tysięcy.
Jak wygląda marnowanie budżetu
Jedna kategoria, kilkaset niemal identycznych adresów:
/buty/ ← ta jedna ma sens
/buty/?kolor=czarny
/buty/?kolor=czarny&rozmiar=42
/buty/?kolor=czarny&rozmiar=42&sort=cena
/buty/?sort=cena&kolor=czarny&rozmiar=42 ← ta sama, inna kolejnośćCo zjada budżet
- Adresy z parametrami filtrów i sortowania.
- Wewnętrzna wyszukiwarka dostępna dla robota.
- Łańcuchy przekierowań zamiast jednego skoku.
- Strony z błędami i miękkie 404 zwracające kod 200.
- Warianty produktu różniące się tylko rozmiarem albo kolorem.
Jak to sprawdzić
Raport „Statystyki indeksowania” w Google Search Console pokazuje, ile adresów robot odwiedza dziennie i jakie dostaje odpowiedzi. Więcej widać w logach serwera: które adresy robot odwiedza najczęściej i czy nie marnuje czasu na śmieci. Do przejścia serwisu własnym crawlerem używamy Sitebulb i Screaming Frog.
Kiedy się tym zajmować
Gdy serwis ma dziesiątki tysięcy adresów albo gdy w Search Console widać, że Google indeksuje ułamek tego, co powinien. Przy stronie firmowej na trzydzieści podstron optymalizacja budżetu indeksowania jest stratą czasu i lepiej zająć się treścią.
Częsty błąd
Blokowanie śmieciowych adresów w robots.txt zamiast oznaczania ich jako noindex albo wskazywania kanonicznego odpowiednika. Zablokowany adres nadal może trafić do indeksu, tylko bez treści, bo Google nie zobaczy instrukcji, którą zablokowaliście. Robots.txt reguluje odwiedziny, nie obecność w indeksie.
Powiązane hasła
Zobacz też: Audyt SEO.
Ostatnia aktualizacja: