Roboty AI: GPTBot, OAI-SearchBot i PerplexityBot wyjaśnione

Firmy AI uruchamiają osobne roboty do wyszukiwania AI, do próśb użytkowników i do trenowania modeli, a w robots.txt możesz każdy traktować inaczej. Wpuść roboty wyszukujące, jeśli chcesz, by asystenci Cię cytowali; blokowanie robotów trenujących to uprawniony wybór.

Roboty AI to roboty internetowe prowadzone przez firmy AI; każdy podaje własną nazwę (user agent), dzięki czemu właściciele stron mogą w robots.txt wpuścić go lub zablokować osobno.

• Roboty wyszukujące (OAI-SearchBot, PerplexityBot, Claude-SearchBot) decydują, czy asystenci mogą Cię cytować.
• Roboty trenujące (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot) decydują, czy Twoje treści mogą służyć do trenowania modeli.
• Roboty uruchamiane przez użytkownika (ChatGPT-User, Perplexity-User, Claude-User) odwiedzają stronę, bo poprosił o to człowiek, i mogą nie stosować się do robots.txt.
• Zablokowanie wszystkiego jedną regułą blokuje też roboty, które przynoszą Ci rekomendacje.

Jakie roboty AI istnieją i do czego służy każdy z nich?

Źródła: OpenAI, Perplexity, Anthropic, Google, Apple i Common Crawl. Nazwy i zachowanie się zmieniają, więc przed poleganiem na szczególe sprawdź stronę dostawcy.

Czy wpuszczać roboty AI, czy je blokować?

To zależy od tego, czego chcesz:

• Chcesz, by asystenci Cię polecali: wpuść roboty wyszukujące (OAI-SearchBot, PerplexityBot, Claude-SearchBot) i dopilnuj, by Googlebot mógł indeksować Twoje strony, bo według Google AI Overviews i AI Mode wymagają strony zaindeksowanej i kwalifikującej się do wyświetlenia ze snippetem (Google).
• Nie chcesz, by Twoje treści służyły do trenowania: zablokuj GPTBot, ClaudeBot, Google-Extended, Applebot-Extended i CCBot. OpenAI podaje, że zablokowanie GPTBot „oznacza, że treści witryny nie powinny być używane do trenowania”, a Apple, że strony blokujące Applebot-Extended nadal mogą pojawiać się w jej wynikach wyszukiwania.
• Jedno i drugie: wpuść roboty wyszukujące i zablokuj trenujące. Obie grupy są niezależne.

Jak wygląda rozsądny robots.txt?

Ten przykład wpuszcza roboty wyszukujące, blokuje trenujące i chroni prywatne ścieżki. Dostosuj ścieżki do swojej strony:

User-agent: *
Disallow: /admin/

User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

Pamiętaj, że robot z własną grupą stosuje się tylko do tej grupy, więc reguły prywatnych ścieżek, które nadal chcesz zachować (np. Disallow: /admin/), skopiuj do grup, które dają dostęp.

Dlaczego reguła w robots.txt nie zawsze powstrzymuje wizytę?

Roboty uruchamiane przez użytkownika działają w jego imieniu. OpenAI podaje, że reguły robots.txt „mogą nie obowiązywać” ChatGPT-User, a Perplexity, że Perplexity-User zazwyczaj je ignoruje. Jeśli musisz całkowicie wykluczyć takie wizyty, użyj zapory sieciowej lub uwierzytelniania, a nie robots.txt. Anthropic zaznacza też, że blokowanie po adresie IP może nie powstrzymać pobierania niezawodnie, i publikuje listę adresów IP do weryfikacji swoich robotów.

Jak sprawdzić, co Twoja strona dziś dopuszcza?

1. Uruchom sprawdzanie robotów AI dla swojej domeny. Pokaże werdykt dla każdego robota i dokładną linię robots.txt, która o nim decyduje.
2. Jeśli robot wyszukujący jest zablokowany, skopiuj poprawiony robots.txt, który wygeneruje narzędzie i który zachowuje blokadę Twoich prywatnych ścieżek.
3. Wgraj plik do katalogu głównego strony i sprawdź ponownie po mniej więcej dobie; OpenAI podaje, że OAI-SearchBot może potrzebować około 24 godzin, by się dostosować.
4. Dodaj llms.txt, aby roboty, które mogą czytać Twoją stronę, szybko znalazły kluczowe podstrony.
5. Uruchom audyt gotowości na AI, by sprawdzić resztę podstaw technicznych, a potem bezpłatny test widoczności w AI, by zobaczyć, czy asystenci wymieniają Cię na Twoim rynku.