Plik robots.txt informuje roboty wyszukiwarek (i coraz częściej boty AI), które części strony mogą, a które nie powinny odwiedzać. Źle skonfigurowany może zablokować całą stronę przed Google.
Podstawowa struktura
Plik składa się z dyrektyw User-agent, Disallow i Allow. Warto też dodać link do mapy witryny za pomocą dyrektywy Sitemap.
Najczęstszy błąd
Wpis Disallow: / w sekcji dla wszystkich botów blokuje całą stronę przed indeksacją. To zaskakująco częsty błąd po migracjach czy przebudowach strony.
Robots.txt a boty AI
W 2026 roku robots.txt kontroluje też dostęp botów takich jak GPTBot czy ClaudeBot. Jeśli chcesz, aby Twoja firma była widoczna w odpowiedziach ChatGPT, musisz świadomo zezwolić im na dostęp.
Jak to sprawdzić na własnej stronie?
Wystarczy wejść na adres twojadomena.pl/robots.txt. Jeśli nie masz pewności, co oznaczają poszczególne wpisy, to dobry sygnał, żeby zamówić audyt SEO.
