Технический SEOclient-side

Генератор robots.txt

Помогает быстро собрать черновик robots.txt под сайт и экспортировать готовый текст.

Принцип работы

Инструмент решает узкую SEO-задачу прямо в браузере: вы вводите исходные данные, а результат обновляется сразу, без ручного синтаксиса и без перехода между сервисами.

Технический SEOclient-side

Генератор robots.txt

Подходит для быстрого старта или перепроверки robots.txt, когда нужно собрать базовые правила индексации в понятном конструкторе.

Что умеет

Несколько User-agent в одном файле.

Директивы Allow, Disallow, Sitemap и Host.

Готовый текст можно сразу вставить на сайт.

Панель ввода

Домен сайтаДля sitemap и host

User-agentКаждый с новой строки

AllowКаждое правило с новой строки

DisallowКаждое правило с новой строки

Дополнительные sitemapЕсли их несколько

HostНеобязательно

Готовый robots.txt

User-agent: *
Allow: /
Allow: /wp-content/uploads/
Disallow: /admin/
Disallow: /api/
Disallow: /tmp/

User-agent: Googlebot
Allow: /
Allow: /wp-content/uploads/
Disallow: /admin/
Disallow: /api/
Disallow: /tmp/

Host: shelpakov.online
Sitemap: https://shelpakov.online/sitemap.xml

Что проверить перед публикацией

Не закрывайте служебно важные разделы, если они должны индексироваться.

Проверьте, что в sitemap указан правильный протокол и боевой домен.

Если сайт на разных зеркалах, отдельно проверьте настройки редиректов и canonical.

Еще инструменты

Можно открыть соседние утилиты

Перейти в хаб

URL

Генератор ЧПУ-ссылок

Быстро превращает заголовок страницы или статьи в аккуратный slug для адреса.

Аналитика

Генератор UTM-меток

Помогает быстро собрать чистую ссылку для отслеживания трафика в аналитике.

Мета

Счётчик символов для meta-тегов

Проверяет длину meta-тегов до публикации и показывает, где текст уже начинает быть рискованным.