Что видят ИИ-боты на вашем сайте
Введите адрес страницы и за 15 секунд узнайте, могут ли ChatGPT, Claude, Perplexity и Алиса её прочитать. Мы запросим страницу от имени каждого бота, сверим robots.txt и покажем текст, который бот получит на самом деле.
- robots.txt по правилам стандарта
- Ответ сервера каждому боту
- Текст без скриптов, как его видит бот
- Готовые строки для robots.txt
Результаты проверки мы не храним. Считаем только число проверок, чтобы инструментом не злоупотребляли, — 10 в час с одного адреса и 3 в час для одного сайта.
Что это за проверка
Нейросеть может назвать ваш сайт в ответе, только если её бот сумел прочитать страницу. Бывает, что сайт закрыт от ИИ-ботов и владелец об этом не знает. Правило в robots.txt оставил прошлый подрядчик, защита хостинга отсекает незнакомых ботов, а текст подгружается скриптами, которые бот не выполняет.
Проверка находит все три случая за один заход. Она не обращается к нейросетям и ничего не публикует: сервер просто запрашивает страницу так, как это сделал бы каждый бот, и сравнивает ответы.
Разбираем файл по стандарту RFC 9309. Для каждого бота находим его группу правил, а если её нет — общую группу со звёздочкой. Побеждает самое длинное совпадение, при равенстве — Allow.
Запрашиваем страницу с именем каждого бота и как обычный браузер. Если человеку сервер отдаёт страницу, а боту отвечает 403, капчей или обрывает соединение, это и есть главная находка.
ИИ-боты читают исходный HTML и почти никогда не выполняют JavaScript. Мы показываем Title, H1, описание, объём текста и есть ли на странице телефон, цены и контакты.
Метатег robots и заголовок X-Robots-Tag с noindex, nofollow, noai и noimageai, а ещё файл llms.txt, если он есть.
Каких ботов проверяем
Имена ботов сверены с документацией OpenAI, Anthropic, Perplexity, Google и Яндекса в ноябре 2026 года. У Google-Extended и YandexAdditional нет своего робота — это имена для robots.txt, по ним владелец решает, брать ли тексты сайта для ответов нейросети.
| Бот | Чей | Что делает |
|---|---|---|
GPTBot | OpenAI | Собирает тексты для обучения моделей |
OAI-SearchBot | OpenAI | Показывает сайты в поиске ChatGPT |
ChatGPT-User | OpenAI | Открывает страницу, когда о ней спрашивает пользователь |
ClaudeBot | Anthropic | Собирает тексты для обучения моделей Claude |
Claude-SearchBot | Anthropic | Собирает сайты для поиска в Claude |
Claude-User | Anthropic | Открывает страницу по просьбе пользователя |
PerplexityBot | Perplexity | Показывает сайты в ответах Perplexity |
Perplexity-User | Perplexity | Открывает страницу по просьбе пользователя |
Google-Extended | Разрешает брать тексты сайта для Gemini | |
YandexBot | Яндекс | Основной робот Яндекса, из его индекса Алиса берёт источники |
YandexAdditional | Яндекс | Решает, что со страницы попадёт в ответы Алисы и YandexGPT |
Вопросы и ответы
Как узнать, видит ли ChatGPT мой сайт?
Нужно проверить три вещи. Разрешает ли robots.txt ботов OpenAI, отдаёт ли им сервер страницу и есть ли на странице текст без выполнения скриптов. Эта проверка делает все три за 15 секунд. Упоминает ли ChatGPT сайт в ответах — другой вопрос, его показывает система мониторинга AIV.
Нужно ли открывать сайт для GPTBot и ClaudeBot?
Эти боты собирают тексты для обучения моделей. Если их закрыть, сайт не попадёт в будущие версии моделей, но в поиске ChatGPT и Claude может остаться — за поиск отвечают OAI-SearchBot и Claude-SearchBot. Если цель — чтобы нейросети знали и советовали бренд, обычно открывают всех.
Почему проверка показывает отказ, а в логах бот заходит?
Мы запрашиваем страницу с именем бота, но с адреса нашего сервера. Защита вроде Cloudflare умеет сверять адреса и пускать только настоящих ботов, а нашу проверку не пустить. Точную картину дают логи сервера.
Что такое llms.txt и нужен ли он?
Это текстовый файл в корне сайта с кратким описанием и списком главных страниц для нейросетей. Он не обязателен и не заменяет robots.txt, но помогает нейросети быстрее понять, о чём сайт.