Czy AI widzi Twoją stronę? robots.txt, GPTBot i llms.txt [wideo]

Czy AI widzi Twoją stronę? robots.txt, GPTBot, llms.txt | Justyna Zienkiewicz, 11 min

O tym, czy ChatGPT, Claude albo Gemini mogą przeczytać Twoją stronę, decyduje w pierwszej kolejności plik robots.txt. Sprawdzisz go w pół minuty: wpisz w przeglądarce adres swojej strony z dopiskiem /robots.txt. W filmie Justyna pokazuje, czego w nim szukać i dlaczego „zablokuj AI” to nie jest jeden przełącznik.

Spis treści (4)

Z filmu dowiesz się

jak w 30 sekund sprawdzić swój plik robots.txt,
czym różnią się GPTBot, OAI-SearchBot i ChatGPT-User,
co robią ClaudeBot, Claude-SearchBot i Google-Extended,
czy llms.txt coś daje i co mówi o nim Google,
co sprawdzić na hostingu, żeby nikt nie zamknął robotom drzwi bez Twojej wiedzy.

Najważniejsze w skrócie

Roboty AI robią trzy różne rzeczy: zbierają treści do trenowania modeli, budują indeks wyszukiwarki i wchodzą na stronę na żywo, kiedy użytkownik o coś pyta. Każdą z tych „szuflad” otwierasz albo zamykasz osobno.
Zablokowanie GPTBota nie wyłącza widoczności w ChatGPT. Za wyszukiwanie odpowiada OAI-SearchBot.
W Google o przeglądzie od AI i trybie AI decyduje zwykły Googlebot. Google-Extended dotyczy trenowania Gemini i według Google nie wpływa na widoczność w wyszukiwarce.
Sam robots.txt to nie wszystko. Firewall, zabezpieczenia hostingu albo wtyczka potrafią odciąć roboty, zanim w ogóle przeczytają plik.
llms.txt nie jest dziś wymagany. Google pisze wprost, że do pojawiania się w funkcjach AI nie potrzeba specjalnych plików.

Transkrypcja filmu

Poniżej zredagowany zapis filmu. Wycięliśmy powtórzenia i przerywniki, sens i kolejność wypowiedzi zostały bez zmian.

Zanim obejrzysz: sprawdź swój plik

Otwórz nową kartę w przeglądarce i wpisz adres swojej strony, a po nim /robots.txt, na przykład twojafirma.pl/robots.txt. Zobacz, co tam jest.

Jeśli widzisz kilka linijek tekstu, to jest plik, który mówi robotom, czyli robotom Google’a i robotom AI, gdzie mogą wchodzić na Twoją stronę, a gdzie nie. Jeśli widzisz błąd 404, to też jest informacja. Do obu sytuacji za chwilę wrócimy.

Coraz więcej Twoich potencjalnych klientów pyta o Ciebie w ChatGPT, w Gemini czy w Perplexity. Pytanie brzmi: czy te roboty w ogóle mają wstęp na Twoją stronę? A może ktoś albo coś, na przykład wtyczka, hosting czy programista, zamknął im dostęp, a Ty nawet o tym nie wiesz?

Nazywam się Justyna Zienkiewicz i od ponad 15 lat zajmuję się SEO, a teraz również widocznością w AI Search. Pokażę Ci, jak to sprawdzić, które roboty AI i Google’a mają znaczenie i co zrobić z plikiem llms.txt.

Czym jest plik robots.txt?

Robots.txt to plik tekstowy w głównym katalogu strony, w którym piszesz, dokąd roboty mogą zaglądać. Pamiętasz wiralowy filmik z hotelu sprzed kilku lat? Tu recepcja, tu basen, tu zjesz, tu wolno, tu nie wolno. Roboty Google’a i roboty AI stosują się do takich instrukcji jak goście hotelu. Tu mogą wejść, tam coś zrobić, a gdzieś indziej wstęp jest surowo wzbroniony.

Dwie ważne rzeczy. Po pierwsze, to jest prośba, a nie zamknięcie dostępu na cztery spusty. Grzeczne roboty się do niej stosują, niegrzeczne niekoniecznie. Po drugie, roboty są różne i mają różne zadania, więc jedna kartka „dla wszystkich tak samo” nie ma sensu.

I jeszcze jedno, co często robi zamieszanie. Robots.txt decyduje, czy robot może wejść i przeczytać stronę. To nie zawsze jest ta sama decyzja co to, czy strona ma być w wynikach wyszukiwania. Zwykle to dwie osobne decyzje.

Dlaczego „zablokuj AI” to nie jest jeden przycisk?

Kiedy ktoś mówi „zablokuj AI”, brzmi to tak, jakby istniał jeden magiczny przycisk. A tak nie jest, bo boty AI robią trzy różne rzeczy:

zbierają treści do trenowania modeli językowych,
budują indeks, z którego korzysta wyszukiwanie w odpowiedziach,
wchodzą na stronę na żywo, bo użytkownik właśnie o coś zapytał.

Jakie roboty ma OpenAI (ChatGPT)?

Według dokumentacji OpenAI, którą sprawdziłam w połowie października 2026 roku, są trzy boty. GPTBot zbiera treści, które mogą trafić do trenowania modeli. OAI-SearchBot służy do pokazywania stron w wyszukiwaniu ChatGPT. ChatGPT-User wchodzi na stronę, kiedy użytkownik o coś zapyta, a OpenAI pisze wprost, że przy takich wejściach reguły z robots.txt mogą nie obowiązywać.

OpenAI potwierdza, że każde z tych ustawień jest niezależne. Możesz zablokować GPTBota, czyli powiedzieć „nie trenujcie na moich treściach”, a jednocześnie zostawić otwartą drogę OAI-SearchBotowi, żeby ChatGPT mógł pokazywać Twoją stronę w odpowiedziach. OpenAI wręcz zaleca zostawienie otwartych drzwi dla OAI-SearchBota, jeśli zależy Ci na widoczności w ChatGPT. Strony, które tę drogę zamknęły, mogą nie pojawiać się w odpowiedziach, co najwyżej jako zwykłe linki.

A Anthropic (Claude)?

Podobnie działa Anthropic, czyli firma, która stoi za Claude’em. Według dokumentacji z 2026 roku ma ClaudeBota do trenowania, Claude-SearchBota do wyszukiwania i Claude-User do wejść na prośbę użytkownika. Anthropic deklaruje, że respektuje to, co jest napisane w robots.txt.

Co z Google: Googlebot i Google-Extended

Tu jest prościej, ale trochę inaczej. Google w dokumentacji z grudnia 2025 roku pisze, że przegląd od AI i tryb AI nie mają dodatkowych wymagań technicznych. Strona ma być zaindeksowana i kwalifikować się do wyświetlania z fragmentem (snippetem). Sterowanie odbywa się przez Googlebota.

Jest jeszcze Google-Extended, ale to osobny znacznik. Służy do trenowania Gemini i wykorzystania treści w kilku innych usługach Google’a i według Google nie wpływa na widoczność w wyszukiwarce.

Wniosek? To nie jest prosty przełącznik „AI może wchodzić albo nie”. To trzy szufladki: trenowanie, wyszukiwanie i pytanie na żywo. To Ty decydujesz, które otworzyć.

Czego szukać w swoim pliku robots.txt?

Wracamy do pliku, który otworzyłaś albo otworzyłeś na początku. Szukaj trzech rzeczy.

Błąd 404. Pliku robots.txt po prostu nie ma. To nie katastrofa, bo zwykle oznacza to, że roboty mogą wchodzić wszędzie. Nie masz wtedy jednak żadnej kontroli, więc warto go mieć.
Linijka „Disallow: /” pod „User-agent: *”. Wtedy dostęp jest zamknięty dla wszystkich robotów, także tych, które budują Twoją widoczność w Google. To się zdarza, zwłaszcza po przeniesieniu strony z wersji testowej.
Nazwy botów z tego filmu. Szukaj GPTBota, OAI-SearchBota, ClaudeBota, Claude-SearchBota czy Google-Extended. Jeśli któryś ma Disallow, ktoś już podjął decyzję. Pytanie, czy zrobiłaś to Ty, deweloper, czy na przykład firma od SEO.

W filmie pokazuję przykład konfiguracji, w której nie zgadzasz się na trenowanie, ale zostawiasz otwarte drzwi do wyszukiwania. Czy to dobra decyzja dla Ciebie? Jak to w SEO, to zależy. Jeśli żyjesz z publikowania treści, możesz nie chcieć oddawać ich do trenowania. Jeśli zależy Ci na rozpoznawalności, możesz chcieć te drzwi otworzyć. Nie ma tu jednej dobrej odpowiedzi, ale jest jedna zła: blokować, nie wiedząc po co.

Gdzie roboty bywają blokowane bez Twojej wiedzy?

Sam plik robots.txt to nie wszystko. Google w dokumentacji zaznacza, że dostęp robotów trzeba sprawdzać także na poziomie firewalla, renderowania JavaScriptu i hostingu. Zabezpieczenia hostingu albo wtyczki do bezpieczeństwa potrafią odciąć roboty, zanim w ogóle przeczytają Twój plik.

Jeśli masz dostęp do logów serwera, sprawdź, czy te boty w ogóle się u Ciebie pojawiają. Jeśli nie masz, zapytaj osobę, która zajmuje się Twoim hostingiem.

Czy plik llms.txt jest potrzebny?

Llms.txt to propozycja pliku, w którym wymieniasz najważniejsze podstrony swojej strony albo sklepu, żeby modele językowe łatwiej do nich trafiały. Brzmi rozsądnie, a wiele wtyczek SEO do WordPressa generuje go jednym kliknięciem.

Google w dokumentacji o funkcjach AI pisze jednak wprost, że nie musisz tworzyć nowych, specjalnych plików czytelnych dla maszyn ani plików pod AI, żeby pojawiać się w przeglądzie od AI czy w trybie AI.

Czy to znaczy, że llms.txt szkodzi? Nie. Jeśli wygenerował się jednym kliknięciem, może zostać. Na ten moment nie musisz go jednak mieć, choć to może się zmienić, więc warto co jakiś czas sprawdzać, co same firmy AI mówią o wpuszczaniu ich botów. Zamiast spędzać pół dnia na pliku llms.txt, zajmij się tym, co AI naprawdę czyta, czyli swoimi stronami i podstronami.

Co jest ważniejsze niż pliki?

Załóżmy, że wpuszczasz na stronę wszystkie boty AI i Google’a. Co dalej? Google wymienia kilka rzeczy, które są podstawą także dla funkcji AI:

ważna treść jest dostępna na stronie w formie tekstu,
podstrony łatwo znaleźć przez linki wewnętrzne,
treść jest konkretna i łatwo ją podzielić na mniejsze fragmenty, które AI może zacytować.

Mój plan dla Ciebie: raz sprawdź robots.txt i to, czy boty mają dostęp na poziomie hostingu (logi serwera). Świadomie zdecyduj, czy zgadzasz się na trenowanie. Zostaw otwarte boty wyszukiwania. A potem wróć do treści, bo to one ostatecznie decydują, czy w ogóle będziesz cytowana albo cytowany.

Cztery rzeczy do zapamiętania

Sprawdź swój robots.txt, to zajmie Ci pół minuty.
To nie jest przełącznik „AI wchodzi albo nie”, tylko trzy szuflady: trenowanie, wyszukiwanie i pytanie na żywo.
Sam plik to nie wszystko, bo dostęp może blokować hosting albo zabezpieczenia.
llms.txt nie jest dziś czynnikiem, na który warto stawiać, a Google nie wymaga go do pojawiania się w wynikach AI.