robots.txt
Инструкция:
- Скачайте файл robots.txt
- Загрузите его в корень вашего сайта
- Проверьте доступность: https://bestdost116.org/robots.txt
# robots.txt для АлкоЭкспресс # Доставка алкоголя в Казани 24/7 User-agent: * Allow: / # Разрешенные страницы Allow: /Home Allow: /Catalog Allow: /Contacts Allow: /Reviews Allow: /FAQ Allow: /Blog Allow: /AboutUs Allow: /Product # Запрещенные страницы (служебные) Disallow: /Sitemap Disallow: /RobotsTxt Disallow: /SEODashboard Disallow: /ProductAIEnhancer # Карта сайта Sitemap: https://bestdost116.org/sitemap.xml # Настройки для Яндекса User-agent: Yandex Allow: / Crawl-delay: 1 # Настройки для Google User-agent: Googlebot Allow: / # Настройки для Mail.ru User-agent: Mail.Ru Allow: /
Что означают директивы:
- User-agent: *
- Правила для всех поисковых роботов
- Allow: /
- Разрешить индексацию всего сайта
- Disallow: /путь
- Запретить индексацию указанных страниц
- Crawl-delay: 1
- Задержка между запросами (для Яндекса)
- Sitemap:
- Ссылка на карту сайта