Бесплатный инструмент · SEO
Генератор robots.txt для сайта
Соберите robots.txt для сайта за минуту: выберите пресет CMS (WordPress, 1С-Битрикс, OpenCart, MODX), при желании закройте сайт от AI-ботов и добавьте Clean-param для Яндекса — получите готовый файл. Скопируйте или скачайте, всё считается в браузере.
Файл не покидает браузер🔒 Файл собирается только в вашем браузере. Положите его в корень сайта: site.ru/robots.txt
Что такое robots.txt
Robots.txt — текстовый файл в корне сайта, который задаёт правила обхода для поисковых роботов. Директива Disallow закрывает раздел от сканирования, Allow — открывает исключение внутри закрытого, Sitemap — указывает адрес карты сайта. Правила группируются по роботам через User-agent: звёздочка означает «для всех».
Что закрывать
Служебные разделы: админку, личный кабинет, корзину, результаты внутреннего поиска, страницы с параметрами сортировок и фильтров. Они не несут пользы в выдаче, зато плодят дубли и съедают краулинговый бюджет — лимит страниц, который робот обходит за визит.
Что закрывать нельзя
CSS, JavaScript и картинки, которые нужны для отрисовки страниц: поисковики рендерят страницы и должны видеть их так же, как посетитель. Пресеты генератора для WordPress и 1С-Битрикс специально оставляют открытыми шаблоны и статику через Allow.
Robots.txt — не защита
Файл лишь просит роботов не сканировать разделы, но не запрещает доступ. Страница, закрытая в
robots.txt, всё равно может попасть в выдачу по внешней ссылке. Для гарантированного исключения
используйте мета-тег noindex, а для конфиденциального — авторизацию.
Частые вопросы
Зачем сайту нужен robots.txt?
Файл robots.txt лежит в корне сайта и говорит поисковым роботам, какие разделы можно обходить, а какие нет. Он закрывает от индексации служебные страницы (админку, корзину, поиск, дубли с параметрами), экономит краулинговый бюджет и указывает путь к карте сайта sitemap.xml.
Куда положить готовый файл?
Строго в корень сайта, чтобы он открывался по адресу site.ru/robots.txt. В WordPress это корень установки или SEO-плагин (Yoast, Rank Math), в 1С-Битрикс — корневая папка или маркетинг-модуль, на конструкторах — настройки SEO. Проверить можно в Яндекс.Вебмастере: Инструменты → Анализ robots.txt.
Что такое Clean-param и зачем он Яндексу?
Clean-param — директива Яндекса, которая склеивает дубли страниц с GET-параметрами: UTM-метки, yclid, gclid и подобные. Робот не тратит время на копии одной страницы, а показатели не размываются между дублями. Google эту директиву игнорирует — для него дубли закрывают канониклами.
Стоит ли закрывать сайт от AI-ботов?
GPTBot, ClaudeBot, CCBot и другие краулеры собирают контент для обучения нейросетей и ИИ-поиска. Запрет в robots.txt не влияет на позиции в Яндексе и Google — это отдельные роботы. Закрывать их или нет — вопрос политики: уникальный контент часто закрывают, витринные сайты обычно оставляют открытыми ради видимости в ИИ-ответах.
Robots.txt готов — а сайт растёт?
Правильный robots.txt — гигиенический минимум. Позиции растут от быстрого сайта с понятной структурой и контентом. SIDE Studio сделает сайт, который поисковики любят, а посетители дочитывают до заявки.
Обсудить проект