Файл robots.txt — это первый документ, который обрабатывают поисковые роботы при посещении вашего сайта. От его правильности зависит, какие страницы попадут в индекс, а какие останутся невидимыми для Google. Ошибки в синтаксисе или неверные директивы могут привести к полной закрытии сайта от индексации или, наоборот, к попаданию в выдачу технических и приватных разделов.
В этой статье мы подробно разберем, как использовать встроенный инструмент Google Search Console (GSC) для проверки, тестирования и обновления файла robots.txt по актуальному на состоянию интерфейса.
Где находится инструмент проверки robots.txt в новом интерфейсе GSC
Google регулярно обновляет интерфейс Search Console. Если вы ищете инструмент в старом меню «Сканирование» (Crawl) — его там уже нет. На 2026 год путь к инструменту следующий:
- Авторизуйтесь в Google Search Console.
- В левом боковом меню выберите нужный ресурс (сайт) из выпадающего списка вверху.
- Перейдите в раздел «Инструменты и отчеты» (Tools and reports) — обычно он находится в самом низу левого меню.
- В открывшемся списке найдите и нажмите на «Проверка robots.txt» (Robots.txt Tester).
Важно: В более старых инструкциях (2023–2024 гг.) можно встретить путь через «Настройки» (Settings), однако актуальное обновление от февраля 2026 года подтверждает расположение инструмента именно в разделе «Инструменты и отчеты».
Основной экран инструмента: что мы видим
После открытия инструмента вы увидите интерфейс, разделенный на несколько зон:
- Левая панель (Редактор): Отображает текущее содержимое файла
robots.txt, которое Google успешно загрузил при последнем сканировании. Здесь же можно вносить правки для тестирования. - Правая панель (Тестер URL): Поле для ввода конкретного URL-адреса и выбора User-agent (робота) для симуляции доступа.
- Строка статуса (под редактором): Показывает дату последней загрузки файла Google и его статус: «Действует» (Valid), «Ошибки» (Errors) или «Предупреждения» (Warnings).
Если на открывшейся странице отображается неактуальная версия файла (например, вы уже загружали новый на сервер, а Google показывает старый), не пугайтесь — об этом ниже.
Пошаговая инструкция: Проверка синтаксиса и директив
Шаг 1: Анализ текущего файла на ошибки
Сразу после открытия инструмента посмотрите на строку статуса и код в редакторе.
- Красные строки (Errors): Критические ошибки синтаксиса. Робот не сможет корректно прочитать правила. Исправляйте немедленно.
- Желтые строки (Warnings): Предупреждения. Например, использование нестандартных директив (вроде
Crawl-delay, которые Google игнорирует) или потенциально опасные конструкции. Желательно устранить. - Зеленый статус «Действует»: Файл синтаксически верен и используется роботами.
Шаг 2: Тестирование конкретных URL (Симуляция доступа)
Это самая мощная функция инструмента. Она позволяет проверить, может ли конкретный робот просканировать конкретную страницу.
- В правой панели в поле «URL для проверки» вставьте адрес страницы (например,
/wp-admin/,/cart/или URL конкретной статьи). - В выпадающем списке «User-agent» выберите нужного робота: Googlebot (веб-поиск), Googlebot-Image (картинки), Googlebot-News, AdsBot-Google (реклама) и др.
- Нажмите кнопку «Проверить» (Test).
Результаты теста:
- РАЗРЕШЕНО (Allowed), страница открыта для сканирования выбранным ботом. Подсвечивается зеленым.
- ЗАБЛОКИРОВАНО (Blocked) — страница закрыта директивой
Disallow. Подсвечивается красным. Внизу показывается конкретная строка файла, которая блокирует доступ.
Совет: Проверяйте не только закрытые, но и важные открытые разделы (каталог товаров, блог, страницы пагинации), чтобы случайно не закрыть их от Googlebot.
Как обновить файл robots.txt через GSC (Рабочий процесс)
Инструмент в GSC — это песочница (sandbox). Изменения, сделанные в редакторе слева, не применяются автоматически на вашем сервере. Это безопасная среда для экспериментов.
Полный цикл обновления:
- Внесите правки в левом редакторе инструмента. Убедитесь, что ошибок нет (статус «Действует»).
- Протестируйте ключевые URL через правую панель (см. Шаг 2 выше).
- Нажмите кнопку «Отправить» (Submit) в правом нижнем углу редактора.
- В открывшемся модальном окне Google предложит три варианта:
- Скачать (Download): Скачать отредактированный файл
robots.txtна компьютер. Это основной вариант. - Проверить добавленную версию (View uploaded version): Позволяет убедиться, что файл на сервере идентичен тому, что вы только что скачали.
- Отправить Google (Submit to Google): Запросить пересканирование файла роботом Google (ускоряет применение изменений).
- Скачать (Download): Скачать отредактированный файл
- Вернитесь в инструмент GSC и нажмите «Проверить добавленную версию» (или просто обновите страницу инструмента через время), чтобы подтвердить, что Google видит новый файл.
Диагностика проблем индексации через отчет «Индексирование страниц»
Инструмент проверки robots.txt — это проактивная проверка. Но как узнать, что страницы уже попали под блокировку и выпали из индекса?
- Перейдите в раздел «Индексирование» (Indexing) → «Страницы» (Pages) (ранее «Покрытие» / Coverage).
- В таблице причин неиндексации найдите строку: «Заблокировано в файле robots.txt» (Blocked by robots.txt).
- Нажмите на эту строку, чтобы увидеть список URL.
- Откройте любой URL из списка и нажмите «Узнать больше» или проверьте его в инструменте «Проверка URL» (URL Inspection) — там будет указано, какое именно правило блокирует доступ.
Это критически важный отчет: иногда разработчики закрывают весь сайт Disallow: / на тестовом поддомене, забывают убрать перед переносом на прод, и сайт пропадает из выдачи. Отчет GSC покажет это мгновенно.
Частые ошибки и нюансы, которые ловит GSC
| Ошибка / Предупреждение | Описание | Решение |
|---|---|---|
| Ошибка синтаксиса (Syntax Error) | Неправильный формат строки (нет двоеточия, лишние пробелы, неверная кодировка). | Исправить строку в редакторе GSC, скачать и загрузить на сервер. |
| Директива Noindex в robots.txt | Google официально не поддерживает noindex в robots.txt (с 2019 г.). Инструмент выдаст предупреждение. | Использовать мета-тег <meta name="robots" content="noindex"> или HTTP-заголовок X-Robots-Tag. |
| Блокировка CSS/JS файлов | Старые рекомендации советовали закрывать /wp-includes/ или /assets/. Сейчас это мешает рендерингу страниц (Mobile-First Indexing). | Разрешить сканирование ресурсов, необходимых для отображения контента (Allow: /.css$, Allow: /.js$). |
| Файл больше 500 КиБ | Google обрабатывает только первые 500 КиБ файла. Остальное игнорируется. | Оптимизировать файл, убрать лишние правила, использовать поддомены для крупных проектов. |
| UTF-8 BOM | Файл сохранен с меткой порядка байтов (BOM), роботы могут не прочитать первую директиву. | Сохранять файл в кодировке UTF-8 без BOM. |
Альтернативные способы проверки (на случай недоступности GSC)
Хотя GSC — основной и самый точный инструмент (так как использует тот же парсер, что и робот Google), существуют резервные варианты:
- Проверка URL в GSC (URL Inspection Tool): Введите URL в строку поиска вверху GSC → отчет «Покрытие» → «Сканирование» → «Блокировка robots.txt».
- Онлайн-валидаторы: TechnicalSEO Robots.txt Tester, Sitechecker, Яндекс.Вебмастер (проверка robots.txt). Полезны для быстрой проверки синтаксиса без входа в GSC.
- Консоль разработчика браузера: Вкладка Network → фильтр
robots.txt→ проверка заголовков ответа сервера (должен быть200 OKиContent-Type: text/plain).
Чек-лист: Еженедельная/Ежемесячная рутина SEO-специалиста
- Зайти в GSC → Инструменты и отчеты → Проверка robots.txt.
- Убедиться, что статус «Действует» (Valid) и дата последней загрузки актуальна.
- Проверить 3-5 ключевых URL (главная, каталог, карточка товара, блог, корзина/личный кабинет) под User-agent Googlebot и Googlebot-Image.
- Заглянуть в отчет «Страницы» → «Заблокировано в файле robots.txt» на предмет ложных срабатываний.
- После любых изменений на сайте (редизайн, миграция, новая CMS), повторить полный цикл обновления (п. 4 этой статьи).
Проверка robots.txt через Google Search Console, это не разовое действие при запуске сайта, а постоянный процесс контроля. Инструмент «Проверка robots.txt» в разделе «Инструменты и отчеты» дает вам уникальную возможность увидеть сайт глазами робота Google до того, как изменения вступят в силу на сервере.
Помните главное правило: GSC — это симулятор. Реальный файл живет на вашем сервере. Цикл «Правил в GSC → Скачал → Залил на сервер → Проверил в GSC» — единственный гарантированный способ избежать катастроф с индексацией.
Регулярно выделяйте 10 минут на эту процедуру, и ваш сайт будет сканироваться максимально эффективно, попадая в индекс именно теми страницами, которые приносят трафик и конверсии.