ШІ-роботи: GPTBot, OAI-SearchBot, PerplexityBot — що це

Компанії ШІ мають окремих роботів для ШІ-пошуку, для запитів користувачів і для навчання моделей, і в robots.txt з кожним можна поводитися по-різному. Дозвольте пошукових роботів, якщо хочете, щоб асистенти вас цитували; блокування роботів для навчання — цілком законний вибір.

ШІ-роботи — це веброботи, якими керують компанії ШІ; кожен вказує власну назву (user agent), тож власники сайтів можуть дозволити чи заблокувати його окремо в robots.txt.

• Пошукові роботи (OAI-SearchBot, PerplexityBot, Claude-SearchBot) визначають, чи можуть асистенти вас цитувати.
• Роботи для навчання (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot) визначають, чи можна використовувати ваш контент для навчання моделей.
• Роботи, що діють на запит користувача (ChatGPT-User, Perplexity-User, Claude-User), відвідують сторінку, бо про це попросила людина, і можуть не дотримуватися robots.txt.
• Блокування всього одним правилом блокує й роботів, які приносять вам рекомендації.

Які ШІ-роботи існують і для чого кожен?

Джерела: OpenAI, Perplexity, Anthropic, Google, Apple і Common Crawl. Назви та поведінка змінюються, тож перед тим, як покладатися на якусь деталь, перевірте сторінку вендора.

Чи дозволяти, чи блокувати ШІ-роботів?

Усе залежить від того, чого ви хочете:

• Ви хочете, щоб асистенти вас рекомендували: дозвольте пошукових роботів (OAI-SearchBot, PerplexityBot, Claude-SearchBot) і переконайтеся, що Googlebot може індексувати ваші сторінки, бо Google пише, що AI Overviews і AI Mode потребують сторінки, яка проіндексована і має право показуватися зі сніпетом (Google).
• Ви не хочете, щоб ваш контент використовували для навчання: забороніть GPTBot, ClaudeBot, Google-Extended, Applebot-Extended і CCBot. OpenAI пише, що заборона GPTBot «означає, що контент сайту не слід використовувати для навчання», а Apple пише, що сторінки, які забороняють Applebot-Extended, усе одно можуть з'являтися в її результатах пошуку.
• Те й інше: дозвольте пошукових роботів і заблокуйте тих, що навчаються. Ці дві групи незалежні.

Як виглядає розумний robots.txt?

Цей приклад пускає пошукових роботів, блокує роботів для навчання і залишає приватні шляхи приватними. Підлаштуйте шляхи під свій сайт:

User-agent: *
Disallow: /admin/

User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

Зверніть увагу: робот зі своєю групою дотримується лише цієї групи, тож скопіюйте до груп, що дозволяють доступ, будь-які правила для приватних шляхів, які ви хочете зберегти (наприклад, Disallow: /admin/).

Чому правило robots.txt не завжди зупиняє візит?

Роботи, що діють на запит користувача, діють від імені людини. OpenAI пише, що правила robots.txt «можуть не застосовуватися» до ChatGPT-User, а Perplexity пише, що Perplexity-User зазвичай їх ігнорує. Якщо такі візити потрібно повністю не пускати, використовуйте файрвол або автентифікацію, а не robots.txt. Anthropic також зазначає, що блокування за IP-адресою може ненадійно зупиняти обхід, і публікує список IP для перевірки своїх ботів.

Як перевірити, що ваш сайт дозволяє сьогодні?

1. Запустіть Перевірку ШІ-роботів зі своїм доменом. Вона показує вердикт для кожного робота і точний рядок robots.txt, що його визначає.
2. Якщо пошукового робота заблоковано, скопіюйте виправлений robots.txt, який вона генерує і який зберігає ваші приватні шляхи забороненими.
3. Завантажте файл у корінь сайту й перевірте знову приблизно за добу; OpenAI пише, що OAI-SearchBot може підлаштовуватися близько 24 годин.
4. Додайте llms.txt, щоб роботи, які можуть читати ваш сайт, швидко знаходили ключові сторінки.
5. Запустіть Аудит готовності до ШІ для решти технічних основ, а потім безкоштовну перевірку видимості в ШІ, щоб побачити, чи називають вас асистенти на вашому ринку.