Файл robots.txt – это простой текстовый документ, который размещается в корневой директории сайта (https://example.com/robots.txt) и сообщает поисковым роботам, какие части сайта можно сканировать, а какие следует игнорировать. Если в этом файле есть синтаксические или логические ошибки, Google может частично или полностью исключить ваш сайт из индексации, что негативно скажется на позициях в поисковой выдаче.
В этой статье мы подробно разберём, какие типичные ошибки выявляет Google, как их находить в Google Search Console и, главное, как быстро и правильно исправлять.
Содержание
- Что такое
robots.txtи зачем он нужен - Типичные ошибки, которые фиксирует Google
- Как обнаружить ошибки в Google Search Console
- Пошаговое исправление ошибок
- Лучшие практики написания
robots.txt - FAQ
Что такое robots.txt и зачем он нужен
robots.txt – это файл, который использует протокол Robots Exclusion Protocol (REP). Он позволяет веб‑мастерам управлять доступом поисковых ботов к различным разделам сайта.
- Блокировать дублирующий контент (например, страницы с параметрами URL).
- Запретить индексацию служебных разделов (
/admin/,/login/и т.п.). - Указать расположение карты сайта (
Sitemap:). - Снизить нагрузку на сервер, ограничив сканирование «тяжёлых» разделов.
Важно помнить, что robots.txt – лишь рекомендация для «добросовестных» роботов. Он не защищает конфиденциальные данные от доступа, но помогает управлять тем, что попадает в поисковую выдачу.
Типичные ошибки, которые фиксирует Google
Google Search Console (GSC) может выдавать несколько видов предупреждений и ошибок. Ниже – самые распространённые.
Синтаксические ошибки
- Отсутствие разделителя между директивой и значением – например,
Disallow:/private/вместоDisallow: /private/. - Неправильный регистр директив – Google принимает только
User-agent,Disallow,Allow,Sitemap(регистр не важен, но рекомендуется использовать стандартный). - Неэкранированные символы – символы
#внутри пути трактуются как начало комментария.
Логические ошибки
- Блокировка всех страниц – правило
Disallow: /без исключений полностью закрывает сайт для индексации. - Конфликт
AllowиDisallow– если обе директивы относятся к одному пути, приоритет имеет более специфичное правило (длиннее). Неправильный порядок может привести к неожиданному блокированию. - Отсутствие указания
Sitemap– без ссылки на карту сайта Google может не обнаружить новые URL.
Проблемы кодировки и формата
- Файл сохранён в UTF‑16 или в другой кодировке, отличной от UTF‑8 без BOM – Google может не прочитать файл.
- Отсутствие завершающего символа новой строки () в конце файла.
Ошибки доступа
- Файл возвращает статус
404 Not Foundили403 Forbiddenвместо200 OK. - Неправильные заголовки
Content-Type(должен бытьtext/plain).
Как обнаружить ошибки в Google Search Console
Google предоставляет два инструмента:
- Отчёт «Файлы robots.txt» в разделе Индексация → Файлы robots.txt. Здесь отображаются все найденные ошибки и предупреждения.
- Тестировщик robots.txt (Инструменты → Тестировщик robots.txt). Позволяет вводить URL и проверять, будет ли он заблокирован.
Пример типичного сообщения в GSC:
Error: Invalid directive "Disallow:/private/". Expected a space after the colon.
После исправления файла необходимо нажать кнопку «Отправить в переобработку», чтобы Google проверил изменения в течение 24–48 часов.
Пошаговое исправление ошибок
Шаг 1. Скачайте текущий robots.txt
Откройте https://example.com/robots.txt в браузере и сохраните файл в текстовый редактор (рекомендовано Notepad++, VS Code или любой IDE).
Шаг 2. Проверьте кодировку
Убедитесь, что файл сохранён в UTF‑8 без BOM. В большинстве редакторов это можно задать в меню Encoding → UTF‑8.
Шаг 3. Исправьте синтаксис
Пройдитесь по каждой строке и убедитесь, что:
- После двоеточия стоит ровно один пробел.
- Директивы написаны корректно (
User-agent,Disallow,Allow,Sitemap). - Комментарии начинаются с
#и находятся в отдельной строке.
Шаг 4. Устраните логические конфликты
Пример правильного порядка:
# Блокируем админку
User-agent: *
Disallow: /admin/
Allow: /public/
Allow: /blog/
Sitemap: https://example.com/sitemap.xml
Если вам нужно разрешить доступ к отдельному файлу внутри заблокированного каталога, используйте более специфичное правило Allow после Disallow.
Шаг 5. Добавьте обязательный Sitemap
Если карта сайта ещё не указана, добавьте её в конце файла:
Sitemap: https://example.com/sitemap.xmlШаг 6. Проверьте доступность файла
Убедитесь, что запрос GET https://example.com/robots.txt возвращает статус 200 OK и заголовок Content-Type: text/plain. Это можно проверить с помощью curl:
curl -I https://example.com/robots.txtШаг 7. Загрузите исправленный файл
Шаг 8. Сообщите Google о переобработке
В GSC откройте Отчёт «Файлы robots.txt» → «Отправить в переобработку». После этого в течение 24 часов Google проверит файл и уберёт ошибки.
Шаг 9. Проверьте результат
Через Тестировщик robots.txt введите несколько URL (например, /admin/, /blog/post-1) и убедитесь, что правила работают так, как задумано.
Лучшие практики написания robots.txt
- Минимум правил – чем проще файл, тем меньше шансов на ошибку.
- Явно разрешайте важные разделы – если вы блокируете большую часть сайта, добавьте
Allowдля тех страниц, которые должны индексироваться. - Не блокируйте CSS/JS – Google учитывает стили и скрипты при ранжировании. Если они заблокированы, это может ухудшить позиции.
- Регулярно проверяйте файл – ставьте задачу в планировщик (cron) раз в месяц проверять статус
robots.txtчерез GSC API. - Используйте комментарии – они помогают быстро понять цель каждой директивы.
- Не используйте
Crawl-delayдля Googlebot – Google игнорирует эту директиву, а для других ботов она может сильно замедлить индексацию.
Пример «идеального» файла
# robots.txt для https://example.com/
User-agent: *
Disallow: /admin/
Disallow: /private/
Disallow: /tmp/
Allow: /public/
Allow: /blog/
Allow: /products/
Allow: /static/css/
Allow: /static/js/
Allow: /static/images/
Sitemap: https://example.com/sitemap.xml
Часто задаваемые вопросы (FAQ)
Вопрос: Что делать, если Google всё равно не индексирует страницу, хотя в robots.txt нет запретов?
Проверьте Coverage Report в GSC – возможно, страница имеет статус Crawled – currently not indexed из‑за низкого качества контента, дублирования или проблем с мета‑тегом noindex.
Вопрос: Можно ли полностью запретить индексацию сайта, используя только robots.txt?
Да, правило Disallow: / блокирует сканирование, но страницы могут всё равно появиться в поиске, если другие сайты ссылаются на них. Для гарантированного исключения используйте мета‑тег <meta name="robots" content="noindex"> или HTTP‑заголовок X-Robots-Tag: noindex.
Вопрос: Нужно ли указывать User-agent: в каждом файле?
Если вы хотите задать правила для всех ботов, достаточно одной секции с User-agent: . Для специфических ботов (Googlebot, Bingbot) можно добавить отдельные секции выше общей.
Вопрос: Как проверить, что файл доступен по HTTPS и HTTP одновременно?
Откройте оба URL: http://example.com/robots.txt и https://example.com/robots.txt. Если один из них возвращает ошибку, настройте редирект с HTTP на HTTPS или разместите одинаковый файл в обеих точках доступа.
Ошибки в robots.txt, выявленные Google, могут существенно ограничить видимость вашего сайта в поисковой выдаче. Однако их исправление – простая и быстрая задача, если следовать проверенному процессу:
- Скачайте и проверьте текущий файл.
- Убедитесь в правильной кодировке и статусе HTTP.
- Исправьте синтаксические и логические ошибки.
- Добавьте карту сайта и убедитесь в отсутствии конфликтов.
- Загрузите исправленный файл и запросите переобработку в GSC.
- Проверьте результат через тестировщик и отчёты о покрытии.
Регулярный аудит robots.txt и соблюдение лучших практик помогут поддерживать здоровый поток сканирования, ускорить индексацию новых страниц и избежать неожиданного «исчезновения» сайта из поисковой выдачи.
Если у вас возникли вопросы или нужна помощь в настройке, оставляйте комментарии – будем рады помочь!