Co to jest robots.txt?
Autor: Redakcja Domeny.ForSale Opublikowano
W skrócie: robots.txt to publiczny plik tekstowy, który informuje roboty internetowe, jakie części witryny mogą pobierać, a jakie powinny omijać. Pomaga zarządzać odwiedzaniem strony przez roboty, ale nie zabezpiecza danych i nie gwarantuje usunięcia adresu z wyników wyszukiwania. Jego reguły działają tylko wobec robotów, które je respektują.
Gdzie znajduje się robots.txt i jak działa?
Plik robots.txt umieszcza się w katalogu głównym witryny, pod adresem takim jak https://example.com/robots.txt. Robot, czyli program automatycznie odwiedzający strony, może odczytać go przed pobraniem ich zawartości. Na podstawie reguł ustala, do których ścieżek ma dostęp.
Reguły dotyczą konkretnego protokołu, hosta i portu. Plik dostępny dla https://example.com nie steruje automatycznie robotami na https://sklep.example.com ani na wersji HTTP. Subdomena, która wymaga własnych ograniczeń, potrzebuje osobnej konfiguracji.
Brak pliku zwracający kod HTTP 404, czyli „nie znaleziono”, zasadniczo oznacza brak ograniczeń wynikających z robots.txt. To co innego niż awaria serwera: błędy serwera przy próbie pobrania tego pliku mogą czasowo ograniczyć odwiedzanie witryny przez roboty. Szczegóły obsługi takich błędów zależą od robota.
Jak czytać i zapisywać reguły?
Podstawowe wpisy tworzą grupę: wskazują robota, a następnie określają dozwolone lub zabronione ścieżki. Przykładowy plik może wyglądać tak:
User-agent: *
Disallow: /wyszukiwarka/
Disallow: /robocze/
Allow: /robocze/przyklad-publiczny.html
Sitemap: https://example.com/sitemap.xml
Poszczególne elementy oznaczają:
User-agent— nazwę robota, którego dotyczą reguły; gwiazdka*oznacza grupę ogólną.Disallow— ścieżkę, której robot nie powinien pobierać.Allow— dozwoloną ścieżkę, przydatną zwłaszcza jako wyjątek od szerszej blokady.Sitemap— pełny adres mapy witryny, czyli pliku zawierającego listę adresów, które chcesz wskazać wyszukiwarce.
W tym przykładzie roboty mają omijać adresy zaczynające się od /wyszukiwarka/ i /robocze/, ale mogą pobrać wskazany publiczny plik w katalogu roboczym. Przy nakładających się regułach Allow i Disallow standard przewiduje pierwszeństwo bardziej szczegółowego dopasowania. Wielkość liter w ścieżkach ma znaczenie.
Wpis Disallow: / blokuje pobieranie całej witryny przez roboty objęte daną grupą. Pusty wpis Disallow: nie wprowadza takiej blokady. Ta drobna różnica jest częstą przyczyną poważnych pomyłek podczas publikowania strony.
Jeżeli dodajesz grupę dla konkretnego robota, sprawdź zasady wyboru grup w jego dokumentacji. Nie zakładaj, że automatycznie odziedziczy ona wszystkie ograniczenia zapisane przy User-agent: *.
Blokada pobierania nie oznacza zakazu indeksowania
Pobieranie strony przez robota, nazywane też crawlowaniem, i indeksowanie to dwa różne procesy. Indeksowanie oznacza analizę oraz zapis informacji o stronie w bazie wyszukiwarki, z której powstają wyniki wyszukiwania.
Adres zablokowany w robots.txt nadal może pojawić się w wynikach, na przykład gdy wyszukiwarka pozna go z odnośników na innych stronach. Robot nie musi pobrać treści, aby dowiedzieć się o istnieniu adresu.
Jeżeli publicznie dostępna strona nie powinna trafiać do wyników, zwykle stosuje się dyrektywę noindex: instrukcję umieszczoną w znaczniku meta strony albo nagłówku HTTP X-Robots-Tag. Robot musi mieć możliwość pobrania odpowiedzi, żeby odczytać noindex. Jednoczesna blokada w robots.txt może mu to uniemożliwić. Wpisywanie Noindex bezpośrednio do robots.txt nie jest prawidłowym sposobem wykluczania stron z Google.
Przykładowo strona podziękowania po wysłaniu formularza może pozostać dostępna dla użytkowników i otrzymać noindex. Natomiast panel z danymi klientów powinien wymagać logowania oraz kontroli uprawnień — sam zakaz dla robota nie chroni jego zawartości.
Kiedy stosować robots.txt, a kiedy inne rozwiązanie?
Robots.txt bywa przydatny przy ograniczaniu pobierania rozbudowanych wyników wewnętrznej wyszukiwarki lub licznych wariantów filtrów. Najpierw trzeba jednak ustalić, czy te adresy mają być dostępne w wynikach wyszukiwania i czy nie wymagają odczytania innych instrukcji.
Nie blokuj bez analizy plików CSS i JavaScript potrzebnych do wyświetlania strony. Ich niedostępność może utrudnić wyszukiwarce prawidłowe odtworzenie wyglądu oraz treści witryny. Samo zmniejszenie liczby odwiedzin robota nie oznacza lepszej widoczności strony.
Plik robots.txt jest publiczny, dlatego nie umieszczaj w nim haseł, tokenów ani list poufnych zasobów. Do ochrony środowiska testowego użyj uwierzytelniania lub ograniczeń sieciowych. Złośliwy robot może całkowicie zignorować opublikowane zakazy.
Jak bezpiecznie wdrożyć i sprawdzić plik?
Przed zmianą robots.txt zachowaj kopię obecnej wersji. Następnie wykonaj krótką kontrolę:
- Otwórz
/robots.txtna właściwej domenie i sprawdź, czy serwer zwraca zwykły tekst, a nie stronę błędu lub formularz logowania. - Przygotuj przykładowe adresy: stronę główną, produkt, artykuł oraz ścieżkę przeznaczoną do blokady.
- Sprawdź dopasowanie reguł dla tych adresów i konkretnego robota. Potwierdź obsługiwaną składnię w oficjalnej dokumentacji danej wyszukiwarki.
- Po publikacji skontroluj stan pliku w narzędziach właściciela witryny, na przykład Google Search Console. Roboty mogą przechowywać jego kopię, więc zmiana nie zawsze zostanie uwzględniona natychmiast.
Jeśli witryna korzysta z systemu CMS lub wtyczki generującej robots.txt, edytuj właściwe źródło konfiguracji. Ręcznie przesłany plik może zostać nadpisany albo zastąpić wersję tworzoną automatycznie. Przed zapisaniem zmian nazwij konkretny cel: ograniczenie pobierania, wykluczenie z wyników lub ochrona danych — każdy z nich wymaga innego narzędzia.
Zobacz też: Co to jest 2FA?
Przeczytaj także
