Robots.txt
Robots.txt – plik tekstowy umieszczany w głównym katalogu domeny (root), służący do przekazywania instrukcji robotom indeksującym wyszukiwarek (np. Googlebot). Działa w oparciu o standard Robots Exclusion Protocol i stanowi jedno z podstawowych narzędzi w optymalizacji technicznej SEO.
Podstawowe komendy i struktura
| Dyrektywa | Rola w pliku | Przykład użycia |
|---|---|---|
| User-agent: | Określa, do jakiego robota odnosi się dana reguła (użycie * oznacza wszystkie boty). |
User-agent: Googlebot |
| Disallow: | Wskazuje ścieżkę lub katalog, którego robot nie powinien skanować. | Disallow: /admin/ |
| Allow: | Pozwala na skanowanie określonego podkatalogu wewnątrz zablokowanej sekcji. | Allow: /admin/public/ |
| Sitemap: | Wskazuje bezpośredni adres URL do mapy witryny XML. | Sitemap: https://domain.com/sitemap.xml |
Częsty błąd: Blokowanie skanowania vs. wykluczenie z indeksu
Ważne: Plik robots.txt służy wyłącznie do blokowania skanowania (crawlowania), a nie do usuwania stron z wyników wyszukiwania. Jeśli do zablokowanego adresu prowadzą linki zewnętrzne, Google może i tak zindeksować sam URL. Aby całkowicie wykluczyć stronę z indeksu, należy użyć tagu <meta name="robots" content="noindex">.
Główne zastosowania
- Zarządzanie Crawl Budgetem: Oszczędzanie limitu skanowania bota poprzez blokowanie zasobów bez wartości SEO (panel logowania, skrypty, wyniki wyszukiwania wewnątrz witryny).
- Ochrona serwera przed przeciążeniem: Ograniczanie dostępu zbędnym botom lub agresywnym crawlerom.
- Wskazywanie ścieżek indeksacji: Pomoc robotom w szybkim odnalezieniu mapy strony XML.