Вы когда-нибудь пробовали спросить у Алисы: «Что пишут про [ваша тема]?» — и получали пустоту? Просили ChatGPT найти ваш свежий материал, а нейросеть делает вид, что вас не существует? Сири вежливо переключается на Википедию, YandexGPT и GigaChat уверенно цитируют конкурентов, а о вас — ни слова. Знакомая картина? Большинство владельцев сайтов в такой ситуации грешат на «нечестный поиск», «алгоритмы-призраки» или начинают переписывать контент в десятый раз. А проблема лежит в пыльном углу технического кабинета. Имя ей — robots.txt.
Да, тот самый файл, который вы скопировали десять лет назад из «типовой инструкции» или сгенерировали на коленке за тридцать секунд. Одна строчка, одна опечатка, одно устаревшее правило — и все современные ИИ-помощники отказываются заходить на ваш сайт. Не потому, что контент плохой. А потому что ваш собственный сервер сказал им: «Не ходи сюда, здесь ничего нет».
Шокирующая правда: ИИ читают robots.txt строже, чем поисковые роботы
ChatGPT, Алиса, Сири, YandexGPT и GigaChat — это не магия. Когда вы задаёте им вопрос, они в реальном времени ищут свежую информацию в открытых источниках. И первое, что делает каждый из них перед заходом на любой URL — проверяет файл robots.txt. Если там стоит запрет даже на одну папку, но в ней лежит ваша главная статья — ИИ вежливо разворачивается и уходит. Он не пытается «додумать», не нарушает правила. Он следует инструкции как самый дисциплинированный ученик.
И вот где кроется главный шок: большинство сайтов по умолчанию запрещают индексацию папок /search/, /tag/, /category/, /wp-json/, /cgi-bin/, а также ставят Disallow: / — вообще всё. Или наоборот, оставляют файл пустым, но случайно включают Disallow: / через плагин безопасности. Результат один — вы невидимы для ИИ-эпохи.
Хуже того: даже если ваш robots.txt идеален для Google и Яндекса, это не гарантирует, что его правильно понимают ChatGPT, Алиса, Сири, YandexGPT и GigaChat. У каждого своя логика кэширования, своя частота перепроверки, свои байпас-механизмы. И если они однажды получили ответ «доступ запрещён» — они могут запомнить это на недели. Вы уже всё исправили, а искусственный интеллект продолжает игнорировать вас по старой памяти.
Как именно robots.txt убивает ваше продвижение в ИИ-помощниках на примерах
Вот конкретные сценарии, которые происходят с реальными сайтами каждый день:
- ChatGPT через режим навигации (Browse with Bing) сначала проверяет robots.txt целевого домена. Если он находит
Disallow: /articles/— всё содержимое этой папки для нейросети не существует. Даже если статью уже процитировали в Twitter. Даже если она вирусная. ChatGPT скажет: «Я не могу получить доступ к этой странице из-за ограничений robots.txt». И пользователь уйдёт к другому источнику. - Алиса (особенно в сценариях «Найди в интернете») использует собственную систему краулинга. И если ваш robots.txt запрещает
Disallow: /, Алиса даже не попытается прочитать ваш контент. Она сразу переключится на сайты, которые разрешили доступ. Вы даже не попадёте в список кандидатов. - Сири (через поиск от Apple и партнёров) работает похожим образом. Она не просто ищет ссылки — она оценивает, можно ли «легально» прочитать страницу. Если robots.txt стоит на пути — Сири делает вывод, что владелец сайта не хочет, чтобы его контент использовали ассистенты. И уважает это желание. Навсегда.
- YandexGPT в составе Алисы Про и Яндекс.Браузера анализирует не только основной поиск, но и отдельно проверяет доступ к контенту через robots.txt. И если вы случайно запретили
Disallow: /search/(думая, что это служебные страницы), но в поиске Яндекс.Браузера ваш лучший обзорный пост — он не будет показан. YandexGPT просто не увидит его. - GigaChat от Сбера, который набирает обороты в корпоративном и потребительском сегменте, тоже уважает robots.txt. Более того, он может быть консервативнее остальных: при малейшем намёке на запрет или неоднозначной директиве GigaChat предпочтёт промолчать, чем нарушить «волю владельца». Это значит, что вы теряете растущую аудиторию Сбера, хотя ваш контент идеально подходит под их запросы.
Самое обидное: вы можете годами писать экспертные статьи, снимать уникальные обзоры, готовить ответы на сложные вопросы. Но если robots.txt случайно запрещает доступ к папке с контентом — ChatGPT, Алиса, Сири, YandexGPT и GigaChat будут уверены, что вы сами не хотите, чтобы вас цитировали. Искусственный интеллект просто выполняет ваши инструкции. А инструкция у вас, как выясняется, звучит так: «Пожалуйста, игнорируйте меня».
Что делать прямо сейчас? Инструкция на 5 минут
Исправить ситуацию проще, чем вы думаете. Вам не нужно быть программистом или SEO-гуру. Достаточно открыть ваш сайт, дописать в адресной строке /robots.txt и проверить три вещи:
• Нет ли там запрета Disallow: / — это глобальный блок всех роботов, включая ИИ. Если стоит — немедленно удалите или замените на более точные правила.
• Не запрещены ли важные разделы: Disallow: /content/, Disallow: /blog/, Disallow: /news/, Disallow: /post/ — любые папки, где лежат полезные статьи. Особенно опасны слепые запреты типа Disallow: /wp- (отрезают кучу материалов).
• Есть ли там отдельные правила для ИИ-ботов? Пока их почти нет, но лучше использовать User-agent: * (все роботы) с разрешением на всё важное, а запрещать только технический мусор: /wp-admin/, /cgi-bin/, /xmlrpc.php, /trackback/, /feed/ (опционально).
После изменений не забудьте очистить кэш сайта и подождать 1–3 дня — ИИ-помощники перечитывают robots.txt не мгновенно, но довольно быстро.
И главное: не копируйте чужие файлы вслепую. Типовой robots.txt для «защиты от взлома» часто запрещает всё подряд. А старые советы из блогов 2015 года про Disallow: /search/ сейчас убивают вашу видимость в эпоху нейросетей.
Проверьте ваш сайт в сервисе Abuvisor
Вы уже открыли robots.txt? Нашли что-то подозрительное? Отлично. Но ручная проверка — это только половина дела. Потому что даже правильный на первый взгляд robots.txt может содержать невидимые ловушки для конкретных ИИ-помощников. ChatGPT, Алиса, Сири, YandexGPT и GigaChat по-разному интерпретируют одни и те же директивы. И то, что безопасно для Яндекса, может оказаться фатальным для Алисы.
Поэтому единственный надёжный способ — проверьте ваш сайт в сервисе Abuvisor. Он специально создан для анализа видимости в генеративных ИИ-моделях. Abuvisor покажет, как ваш robots.txt видят ChatGPT, Алиса, Сири, YandexGPT, GigaChat и десятки других нейросетей. Вы получите конкретный список ошибок и пошаговую инструкцию по исправлению. Без воды, без магии — только технический аудит, который возвращает вас в диалог с искусственным интеллектом.
Не ждите, пока конкуренты займут все места в ответах ИИ. Откройте robots.txt, исправьте ошибки за 5 минут и сразу проверьте результат через Abuvisor. Потому что в новой реальности вас видят не те, у кого больше статей, а те, кого ИИ может прочитать. И этот выбор начинается с одного файла на вашем сервере.
