Как открыть сайт для роботов Яндекса и нейросетей
Для России главное — не закрыть в robots.txt роботов Яндекса: YandexBot (обычный поиск) и YandexAdditional (ответы Алисы AI в поиске). У зарубежных нейросетей свои поисковые роботы: OAI-SearchBot и ChatGPT-User (ChatGPT), Claude-SearchBot и Claude-User (Claude), PerplexityBot (Perplexity). Роботы для обучения моделей — GPTBot, ClaudeBot, Google-Extended — отдельный вопрос. Закрытый робот — частая причина, по которой сайта нет в ответах.
Роботы Яндекса: поиск и ответы Алисы
- YandexBot — основной робот поиска Яндекса. Если для него нет своей группы, он выполняет правила из
User-agent: *. - YandexAdditional (или YandexAdditionalBot) — через него Яндекс готовит ответы Алисы AI в поиске. Правила
User-agent: *он не читает, только свою группу иUser-agent: Yandex. По справке Яндекса, если закрыть ему сайт, сайт не попадёт в эти ответы. - Если в robots.txt есть группа
User-agent: Yandex, роботы Яндекса выполняют её, а не*. Проверьте, что в ней не закрыто лишнее.
Поисковые роботы зарубежных нейросетей
- OAI-SearchBot (собирает поисковую базу) и ChatGPT-User (открывает страницу по вопросу пользователя) — OpenAI, поиск ChatGPT.
- Claude-SearchBot (поисковая база) и Claude-User (открывает страницу по вопросу) — Anthropic, Claude. Anthropic пишет, что если закрыть Claude-SearchBot, вас могут реже показывать в ответах Claude (справка Anthropic).
- PerplexityBot (поисковая база) и Perplexity-User (открывает страницу по вопросу) — Perplexity.
- Googlebot — поиск Google. На него опираются ИИ-обзоры Google и Gemini.
Роботы для обучения моделей
- GPTBot — OpenAI.
- ClaudeBot — Anthropic.
- Google-Extended — разрешает или запрещает обучать Gemini на текстах сайта. На поиск Google не влияет.
- Applebot-Extended, Bytespider, CCBot — другие сборщики данных.
- Пускать их или нет — решать вам. На то, найдут ли вас поиск и нейросети, это не влияет.
Пример robots.txt
Откройте сайт поисковым роботам, а личные разделы (личный кабинет, корзину) оставьте закрытыми. Пример:
User-agent: Yandex
Allow: /
Disallow: /account/
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
Allow: /
Disallow: /account/
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
Disallow: /account/
# Роботы для обучения моделей: разрешите или закройте на своё усмотрение
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Allow: /
Sitemap: https://ваш-сайт.ru/sitemap.xmlЕсли хотите закрыть
Закрыть сайт от нейросетей — нормальное решение, если вы не хотите, чтобы ваши тексты пересказывали. Но тогда сайта не будет и в их ответах. Если закрыть YandexAdditional, сайт пропадёт из ответов Алисы AI в поиске. Если закрыть только роботов для обучения (GPTBot, ClaudeBot, Google-Extended), на ответы поиска это не повлияет.
Частые вопросы
Что такое YandexAdditional?
Робот Яндекса, через которого готовятся ответы Алисы AI в поиске. Общие правила User-agent: * он не читает, только свою группу и User-agent: Yandex. Если закрыть ему сайт, по справке Яндекса сайт не попадёт в эти ответы.
Закрывать ли GPTBot?
GPTBot собирает данные для обучения моделей OpenAI. На то, покажет ли вас поиск ChatGPT, он не влияет: за это отвечает OAI-SearchBot. Закрыть GPTBot или нет — решать вам.
Если закрыть Google-Extended, пострадает поиск Google?
Нет. Google-Extended отвечает только за обучение Gemini. На индексацию, позиции и ИИ-обзоры Google он не влияет.
Что такое Claude-SearchBot?
Поисковый робот Anthropic для Claude. По словам Anthropic, если его закрыть, вас могут реже показывать в ответах Claude. Не путайте его с ClaudeBot (обучение) и Claude-User (открывает страницу по вопросу пользователя).
Ещё вопросы: почему нейросети не упоминают мой сайт?
Проверьте это на своём сайте
Узнайте, каких роботов закрывает ваш robots.txt.
Бесплатно, до 30 страниц · обычно несколько минут · нужен только e-mail, карта не нужна · Тарифы