# GEO-аудит: готов ли сайт к нейропоиску

URL: https://chugunov.pro/tools/geo-audit-sajta/
Источник: chugunov.pro.

Проверю, видят ли сайт ChatGPT, Perplexity, Claude, Алиса и Нейро в Яндексе: пускает ли их robots.txt и хостинг, есть ли текст без JavaScript, понятна ли машине разметка, есть ли llms.txt. В отчёте — готовый блок robots.txt и черновик llms.txt.

## Что проверяю

- **robots.txt глазами каждого бота.** Разбираю файл по правилам выбора группы и смотрю, открыт ли сайт для поиска Яндекса, Google и Bing, для ботов ответов ChatGPT, Perplexity и Claude — и отдельно для ботов, которые собирают тексты на обучение моделей.
- **Блок на хостинге и в защите от ботов.** Запрашиваю главную от имени YandexBot, bingbot, OAI-SearchBot, PerplexityBot, GPTBot и ClaudeBot и сравниваю с ответом браузеру: ошибка 403, страница «вы не робот» или урезанный ответ видны сразу.
- **Текст без JavaScript.** AI-краулеры скрипты не выполняют. Если текст появляется только в браузере, для них страница пустая.
- **Запреты в мета-тегах.** noindex, nosnippet и нестандартные noai в meta robots и заголовке X-Robots-Tag, а также canonical и описание главной.
- **Микроразметку Schema.org.** Синтаксис JSON-LD, владелец сайта (Organization, Person или LocalBusiness) с профилями sameAs, связность узлов через @id, «хлебные крошки» на внутренних страницах.
- **llms.txt и Markdown-версии.** Есть ли файл и по формату ли он, отдаёт ли сайт страницы в Markdown для AI-агентов.

## Ошибка, которую делают почти все

Чтобы пустить AI-ботов, в robots.txt обычно дописывают отдельные группы: `User-agent: GPTBot`, `Allow: /`. Но бот подчиняется одной, самой точной группе со своим именем. Получив свою группу с одним разрешением, он перестаёт видеть все запреты из `User-agent: *`: поиск по сайту, фильтры, корзину, служебные скрипты.

На этом сайте так и было. ClaudeBot за две недели сделал около 30 тысяч запросов к служебному скрипту, который для остальных ботов был закрыт. Решение — одна группа на всех AI-ботов с тем же набором `Disallow`, что у `*`. Проверка находит эту ошибку и выдаёт готовый блок для вашего robots.txt.

## Закрыть обучение, но остаться в ответах

У OpenAI, Anthropic и Google разные боты для поиска и для обучения моделей. GPTBot, ClaudeBot и Google-Extended можно закрыть — сайт останется в ответах ChatGPT и Claude, а Google-Extended вообще не влияет на поиск и AI-обзоры. Закрывать нельзя OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot и, конечно, YandexBot и bingbot: без них сайта не будет ни в поиске, ни в нейроответах.

## Если проблемы нашлись

Большая часть исправляется за день: robots.txt, мета-теги, llms.txt. Микроразметка владельца и серверный рендеринг для сайтов на React или Vue — дольше. Сделаю под ключ: исправлю найденное, настрою разметку и llms.txt, проверю логи сервера на запросы AI-ботов. Для этого — кнопка в отчёте или [технический SEO-аудит](https://chugunov.pro/uslugi/audit-sajta/).

## Частые вопросы

**Что такое GEO и чем оно отличается от SEO?**

GEO (Generative Engine Optimization) — подготовка сайта к тому, чтобы нейросети находили его и цитировали в ответах: ChatGPT, Perplexity, Claude, Алиса и Нейро в Яндексе, AI-обзоры Google. Основа та же, что у SEO: сайт должен быть доступен ботам, текст — в HTML, разметка — однозначной. Отличия — в деталях: отдельные боты AI-сервисов в robots.txt и на хостинге, llms.txt, Markdown-версии, связная микроразметка владельца.

**Если закрыть GPTBot, сайт пропадёт из ChatGPT?**

Нет. У OpenAI разные боты: GPTBot собирает данные для обучения моделей, OAI-SearchBot — для поиска ChatGPT, ChatGPT-User открывает страницы по просьбе пользователя. Закрыв только GPTBot, вы запрещаете обучение, но остаётесь в ответах. Так же устроено у Anthropic (ClaudeBot и Claude-SearchBot) и Google (Google-Extended не влияет на поиск и AI-обзоры).

**Почему важна группа в robots.txt, если все боты разрешены?**

Бот подчиняется одной, самой точной группе со своим User-agent. Если для AI-ботов написано «User-agent: GPTBot / Allow: /», то запреты из «User-agent: *» для них не существуют: они обходят поиск, фильтры, корзину и служебные скрипты. На этом сайте так набралось 30 тысяч запросов ClaudeBot к служебному скрипту — пока AI-боты не получили тот же набор Disallow, что и остальные.

**Нужен ли llms.txt?**

Желателен, но не обязателен. llms.txt — Markdown-файл в корне сайта: кто вы и какие страницы главные. Яндекс и Google официально его не учитывают, но AI-агенты и ассистенты разработчиков читают. Сделать его — полчаса, а черновик проверка собирает сама по ссылкам главной.

**Почему сайт на React или Vue может не попасть в ответы нейросетей?**

AI-краулеры (GPTBot, ClaudeBot, PerplexityBot) JavaScript не выполняют: если текст появляется только после загрузки скриптов, они видят пустую страницу. Решение — серверный рендеринг (Next.js, Nuxt) или пререндер страниц для ботов.

**Проверка написала, что хостинг блокирует ботов, а в robots.txt всё открыто. Как так?**

robots.txt — просьба к вежливым ботам, а блок на хостинге, в Cloudflare или DDoS-Guard срабатывает раньше: сервер отвечает ошибкой 403 или страницей «вы не робот». Проверка шлёт запросы с подписью бота, но не с его IP-адресов, поэтому защита, сверяющая адреса, может пропускать настоящих ботов. Точный ответ — в логах сервера: есть ли там запросы OAI-SearchBot, PerplexityBot, YandexBot и с каким кодом.

**Зачем нейросетям микроразметка?**

Разметка Schema.org однозначно сообщает, кто владелец сайта, какие у него контакты и профили (sameAs), что это за страница, цена, вопрос и ответ. Нейросеть, собирая ответ «кто делает сайты на Битрикс в Москве», опирается на такие сведения охотнее, чем на догадки по тексту. Важно, чтобы узлы были связаны через @id: организация, сайт, страница, автор.

## Статьи

- [robots.txt и sitemap.xml: правильная настройка](https://chugunov.pro/robots-txt-i-sitemap-xml/)
- [Микроразметка Schema.org: как сделать и проверить](https://chugunov.pro/mikrorazmetka-schema-org/)
- [Что такое техническое SEO и что в него входит](https://chugunov.pro/chto-takoe-tehnicheskoe-seo/)
- [Почему страницы не индексируются: проверка индексации в Яндексе](https://chugunov.pro/proverka-indeksacii-sajta/)

## Услуги

- [Технический SEO аудит сайта](https://chugunov.pro/uslugi/audit-sajta/)
- [Поисковое продвижение](https://chugunov.pro/uslugi/seo/)
- [Наполнение сайта с ИИ](https://chugunov.pro/uslugi/napolnenie-sajta/)
- [Интеграция нейросети в сайт и CRM](https://chugunov.pro/uslugi/integraciya-nejrosetej/)