Robot, nazywany też crawlerem albo pająkiem, to program, który odwiedza strony internetowe i pobiera ich treść. Google używa Googlebota, Bing swojego bota, a modele językowe własnych: GPTBot, ClaudeBot, PerplexityBot. Każdy z nich przedstawia się nazwą w nagłówku user-agent i każdemu można osobno pozwolić albo zabronić wstępu w pliku robots.txt.
Jak wygląda sterowanie robotami
# robots.txt w katalogu głównym domeny
User-agent: *
Disallow: /wp-admin/
# jawne dopuszczenie botów AI
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
Sitemap: https://przyklad.pl/sitemap_index.xmlCo robots.txt potrafi, a czego nie
Reguluje odwiedziny, a nie obecność w indeksie. Zablokowany adres nadal może trafić do wyników, tylko bez opisu, jeśli prowadzą do niego linki. Do wykluczenia z indeksu służy noindex, a ten działa tylko wtedy, gdy robot może stronę odwiedzić i go zobaczyć.
Jak sprawdzić, kto odwiedza Waszą stronę
Najpełniejszy obraz dają logi serwera: widać w nich każdą wizytę razem z nazwą bota i odpowiedzią serwera. Google Search Console pokazuje statystyki indeksowania dla samego Googlebota. Wizyty botów AI widać wyłącznie w logach, bo żadne z ich narzędzi nie udostępnia raportu.
Częsty błąd
Blokowanie botów AI „na wszelki wypadek”, a potem zdziwienie, że marka nie pojawia się w odpowiedziach ChatGPT czy Perplexity. To jest decyzja biznesowa, nie techniczna: albo chcecie być cytowani, albo chronicie treść przed uczeniem modeli. Trzeciej drogi nie ma i warto ją podjąć świadomie.
Powiązane hasła
Zobacz też: Audyt SEO.
Ostatnia aktualizacja: