100% на устройстве

Умный конструктор директив сканирования (Robots.txt и Sitemap)

Защищённый от ошибок визуальный интерфейс для создания robots.txt. Управление краулинговым бюджетом и защита от случайной блокировки сайта от индексации.

Добавить к правилам:

Поисковый бот (User-agent)

Итоговый robots.txt
# Add rules and optionally Sitemap URL above

Как создать правильный robots.txt

Сформируйте безопасный файл для управления поисковыми ботами всего за пару кликов.

  1. Выберите готовый пресет

    В один клик добавьте базовые правила. Есть наборы: «WordPress (Оптимальный)», «E-commerce (Bitrix/Generic)», «Чистка мусора» и полная блокировка для этапа разработки — «No-index (Dev-режим)».

  2. Настройте директивы и Sitemap

    Добавьте индивидуальные правила: выберите поискового бота (User-agent), укажите директиву («Запретить» или «Разрешить») и пропишите путь. Укажите URL карты сайта (Sitemap).

  3. Скопируйте или скачайте результат

    Получите готовый код. Вы можете скопировать его или скачать в виде файла robots.txt.

Зачем использовать визуальный генератор robots.txt?

  • Защита от фатальных ошибок

    Один лишний слэш (/) может закрыть весь сайт от Google и Яндекса. Визуальный интерфейс защищён от ошибок синтаксиса — ваши страницы останутся в поиске.

  • Экономия краулингового бюджета

    Поисковики выделяют ограниченное время на обход сайта. Блокируя технические страницы, корзины, фильтры и пагинацию, вы направляете роботов на важный коммерческий контент.

  • Защита от нейросетей (Anti-AI)

    Не хотите, чтобы боты OpenAI, Anthropic или Google собирали ваш контент для обучения ИИ-моделей? Используйте пресет «Защита от ИИ» в один клик.

  • 100% приватность

    Инструмент работает локально в браузере. Мы не собираем архитектуру ваших URL.

Всё о файле Robots.txt и карте сайта

Файл robots.txt — первый документ, к которому обращаются поисковые роботы при посещении сайта. В нём указано, какие разделы можно сканировать, а какие запрещено. Это важный инструмент для распределения нагрузки на сервер и управления индексацией.

Вместе с директивами Allow/Disallow в файле принято указывать путь к Sitemap.xml. Карта сайта работает в паре с robots.txt: первый говорит ботам, куда ходить нельзя, Sitemap показывает, какие страницы нужно проиндексировать в первую очередь.

Популярные вопросы

Куда нужно загружать готовый файл robots.txt?
Файл должен находиться в корневой директории сайта и быть доступен по адресу: ваш-домен.com/robots.txt
Что значит User-agent: * (Все боты)?
Символ звёздочки (*) в правиле User-agent означает, что директива применяется ко всем роботам (Googlebot, YandexBot, Bingbot и т.д.), если для них не прописаны более специфичные правила ниже.
Удалит ли Disallow страницу из поиска?
Необязательно. Директива Disallow запрещает сканирование, но при наличии внешних ссылок страница может попасть в индекс. Чтобы гарантированно удалить её из поиска, используйте мета-тег <meta name="robots" content="noindex"> в HTML страницы.
Как проверить правильность файла?
После загрузки на сервер используйте инструмент «Анализ robots.txt» в Яндекс Вебмастере и отчёты о сканировании в Google Search Console.

Делаете сайт для бизнеса?

Shift Box — продуктовая IT-студия для B2B-сектора. Помимо бесплатных утилит мы разрабатываем надёжные отраслевые решения. Ознакомьтесь с нашими продуктами.

Узнать больше