GEO-аудит: готов ли сайт к нейропоиску

Проверю, видят ли сайт ChatGPT, Perplexity, Claude, Алиса и Нейро в Яндексе: пускает ли их robots.txt и хостинг, есть ли текст без JavaScript, понятна ли машине разметка, есть ли llms.txt. В отчёте — готовый блок robots.txt и черновик llms.txt.

Адрес сайта Как вас зовут Телефон или Telegram Электронная почта

Даю согласие на обработку персональных данных — имени, телефона или логина Telegram, почты и адреса сайта — чтобы получить отчёт и связаться со мной по его итогам. С Политикой обработки персональных данных ознакомлен. Сохранить отчёт по ссылке на 30 дней

Проверяю только общедоступные страницы — без подбора паролей и нагрузки на сайт. Проверяйте сайты, к которым имеете отношение. Контакты нужны, чтобы прислать отчёт и при желании помочь с исправлением.

Что проверяю

robots.txt глазами каждого бота. Разбираю файл по правилам выбора группы и смотрю, открыт ли сайт для поиска Яндекса, Google и Bing, для ботов ответов ChatGPT, Perplexity и Claude — и отдельно для ботов, которые собирают тексты на обучение моделей.
Блок на хостинге и в защите от ботов. Запрашиваю главную от имени YandexBot, bingbot, OAI-SearchBot, PerplexityBot, GPTBot и ClaudeBot и сравниваю с ответом браузеру: ошибка 403, страница «вы не робот» или урезанный ответ видны сразу.
Текст без JavaScript. AI-краулеры скрипты не выполняют. Если текст появляется только в браузере, для них страница пустая.
Запреты в мета-тегах. noindex, nosnippet и нестандартные noai в meta robots и заголовке X-Robots-Tag, а также canonical и описание главной.
Микроразметку Schema.org. Синтаксис JSON-LD, владелец сайта (Organization, Person или LocalBusiness) с профилями sameAs, связность узлов через @id, «хлебные крошки» на внутренних страницах.
llms.txt и Markdown-версии. Есть ли файл и по формату ли он, отдаёт ли сайт страницы в Markdown для AI-агентов.

Ошибка, которую делают почти все

Чтобы пустить AI-ботов, в robots.txt обычно дописывают отдельные группы: User-agent: GPTBot, Allow: /. Но бот подчиняется одной, самой точной группе со своим именем. Получив свою группу с одним разрешением, он перестаёт видеть все запреты из User-agent: *: поиск по сайту, фильтры, корзину, служебные скрипты.

На этом сайте так и было. ClaudeBot за две недели сделал около 30 тысяч запросов к служебному скрипту, который для остальных ботов был закрыт. Решение — одна группа на всех AI-ботов с тем же набором Disallow, что у *. Проверка находит эту ошибку и выдаёт готовый блок для вашего robots.txt.

Закрыть обучение, но остаться в ответах

У OpenAI, Anthropic и Google разные боты для поиска и для обучения моделей. GPTBot, ClaudeBot и Google-Extended можно закрыть — сайт останется в ответах ChatGPT и Claude, а Google-Extended вообще не влияет на поиск и AI-обзоры. Закрывать нельзя OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot и, конечно, YandexBot и bingbot: без них сайта не будет ни в поиске, ни в нейроответах.

Если проблемы нашлись

Большая часть исправляется за день: robots.txt, мета-теги, llms.txt. Микроразметка владельца и серверный рендеринг для сайтов на React или Vue — дольше. Сделаю под ключ: исправлю найденное, настрою разметку и llms.txt, проверю логи сервера на запросы AI-ботов. Для этого — кнопка в отчёте или технический SEO-аудит.

Частые вопросы

Что такое GEO и чем оно отличается от SEO?

GEO (Generative Engine Optimization) — подготовка сайта к тому, чтобы нейросети находили его и цитировали в ответах: ChatGPT, Perplexity, Claude, Алиса и Нейро в Яндексе, AI-обзоры Google. Основа та же, что у SEO: сайт должен быть доступен ботам, текст — в HTML, разметка — однозначной. Отличия — в деталях: отдельные боты AI-сервисов в robots.txt и на хостинге, llms.txt, Markdown-версии, связная микроразметка владельца.

Если закрыть GPTBot, сайт пропадёт из ChatGPT?

Нет. У OpenAI разные боты: GPTBot собирает данные для обучения моделей, OAI-SearchBot — для поиска ChatGPT, ChatGPT-User открывает страницы по просьбе пользователя. Закрыв только GPTBot, вы запрещаете обучение, но остаётесь в ответах. Так же устроено у Anthropic (ClaudeBot и Claude-SearchBot) и Google (Google-Extended не влияет на поиск и AI-обзоры).

Почему важна группа в robots.txt, если все боты разрешены?

Бот подчиняется одной, самой точной группе со своим User-agent. Если для AI-ботов написано «User-agent: GPTBot / Allow: /», то запреты из «User-agent: *» для них не существуют: они обходят поиск, фильтры, корзину и служебные скрипты. На этом сайте так набралось 30 тысяч запросов ClaudeBot к служебному скрипту — пока AI-боты не получили тот же набор Disallow, что и остальные.

Нужен ли llms.txt?

Желателен, но не обязателен. llms.txt — Markdown-файл в корне сайта: кто вы и какие страницы главные. Яндекс и Google официально его не учитывают, но AI-агенты и ассистенты разработчиков читают. Сделать его — полчаса, а черновик проверка собирает сама по ссылкам главной.

Почему сайт на React или Vue может не попасть в ответы нейросетей?

AI-краулеры (GPTBot, ClaudeBot, PerplexityBot) JavaScript не выполняют: если текст появляется только после загрузки скриптов, они видят пустую страницу. Решение — серверный рендеринг (Next.js, Nuxt) или пререндер страниц для ботов.

Проверка написала, что хостинг блокирует ботов, а в robots.txt всё открыто. Как так?

robots.txt — просьба к вежливым ботам, а блок на хостинге, в Cloudflare или DDoS-Guard срабатывает раньше: сервер отвечает ошибкой 403 или страницей «вы не робот». Проверка шлёт запросы с подписью бота, но не с его IP-адресов, поэтому защита, сверяющая адреса, может пропускать настоящих ботов. Точный ответ — в логах сервера: есть ли там запросы OAI-SearchBot, PerplexityBot, YandexBot и с каким кодом.

Зачем нейросетям микроразметка?

Разметка Schema.org однозначно сообщает, кто владелец сайта, какие у него контакты и профили (sameAs), что это за страница, цена, вопрос и ответ. Нейросеть, собирая ответ «кто делает сайты на Битрикс в Москве», опирается на такие сведения охотнее, чем на догадки по тексту. Важно, чтобы узлы были связаны через @id: организация, сайт, страница, автор.