Crawlere AI explicate: GPTBot, OAI-SearchBot, PerplexityBot

Companiile de AI folosesc crawlere separate pentru căutarea AI, pentru cererile utilizatorilor și pentru antrenarea modelelor, iar în robots.txt le puteți trata pe fiecare diferit. Permiteți crawlerele de căutare dacă doriți ca asistenții să vă citeze; blocarea celor de antrenare este o alegere legitimă.

Crawlerele AI sunt roboți web operați de companiile de AI; fiecare își declară propriul nume (user agent), astfel încât proprietarii de site-uri să îl poată permite sau bloca individual în robots.txt.

• Crawlerele de căutare (OAI-SearchBot, PerplexityBot, Claude-SearchBot) decid dacă asistenții vă pot cita.
• Crawlerele de antrenare (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot) decid dacă conținutul dumneavoastră poate fi folosit la antrenarea modelelor.
• Instrumentele de acces declanșate de utilizator (ChatGPT-User, Perplexity-User, Claude-User) vizitează o pagină pentru că o persoană a cerut-o și pot să nu respecte robots.txt.
• Blocarea tuturor printr-o singură regulă blochează și crawlerele care vă aduc recomandări.

Ce crawlere AI există și la ce folosește fiecare?

Surse: OpenAI, Perplexity, Anthropic, Google, Apple și Common Crawl. Numele și comportamentul se schimbă, așa că verificați pagina furnizorului înainte de a vă baza pe un detaliu.

Ar trebui să permiteți sau să blocați crawlerele AI?

Depinde de ce doriți:

• Doriți ca asistenții să vă recomande: permiteți crawlerele de căutare (OAI-SearchBot, PerplexityBot, Claude-SearchBot) și asigurați-vă că Googlebot poate indexa paginile dumneavoastră, deoarece Google spune că AI Overviews și AI Mode necesită o pagină indexată și eligibilă pentru afișare cu fragment (Google).
• Nu doriți ca conținutul dumneavoastră să fie folosit la antrenare: interziceți GPTBot, ClaudeBot, Google-Extended, Applebot-Extended și CCBot. OpenAI afirmă că interzicerea GPTBot „indică faptul că conținutul unui site nu trebuie folosit la antrenare”, iar Apple spune că paginile care interzic Applebot-Extended pot apărea în continuare în rezultatele sale de căutare.
• Ambele: permiteți crawlerele de căutare și blocați-le pe cele de antrenare. Cele două grupuri sunt independente.

Cum arată un robots.txt rezonabil?

Acest exemplu lasă crawlerele de căutare să intre, blochează crawlerele de antrenare și păstrează căile private în afara accesului. Adaptați căile la site-ul dumneavoastră:

User-agent: *
Disallow: /admin/

User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

Rețineți că un crawler care are propriul grup urmează doar acel grup, așa că copiați regulile pentru căile private pe care le mai doriți (precum Disallow: /admin/) în grupurile care permit accesul.

De ce o regulă robots.txt nu oprește întotdeauna o vizită?

Instrumentele declanșate de utilizator acționează în numele unei persoane. OpenAI spune că regulile robots.txt „pot să nu se aplice” pentru ChatGPT-User, iar Perplexity spune că Perplexity-User le ignoră în general. Dacă trebuie să țineți complet departe astfel de vizite, folosiți un firewall sau autentificare, nu robots.txt. Anthropic mai menționează că blocarea după adresa IP poate să nu împiedice în mod fiabil parcurgerea site-ului și publică o listă de adrese IP pentru verificarea roboților săi.

Cum verificați ce permite site-ul dumneavoastră astăzi?

1. Rulați verificatorul de crawlere AI cu domeniul dumneavoastră. Acesta arată verdictul pentru fiecare crawler și linia exactă din robots.txt care îl determină.
2. Dacă un crawler de căutare este blocat, copiați fișierul robots.txt corectat pe care îl generează, care păstrează căile private interzise.
3. Încărcați fișierul în rădăcina site-ului și verificați din nou după aproximativ o zi; OpenAI spune că OAI-SearchBot poate avea nevoie de aproximativ 24 de ore pentru a se adapta.
4. Adăugați un llms.txt, astfel încât crawlerele care pot citi site-ul să găsească rapid paginile dumneavoastră principale.
5. Rulați auditul de pregătire pentru AI pentru restul bazelor tehnice, apoi Verificarea gratuită a vizibilității în AI pentru a vedea dacă asistenții vă menționează pe piața dumneavoastră.