robots.txt

robots.txt — одна из старейших конвенций интернета. Она восходит к нидерландскому разработчику Мартейну Костеру (Martijn Koster), чей сервер в 1994 году был перегружен программой обхода. Из возникшего тогда неформального предложения, протокола Robots Exclusion Protocol, за десятилетия сложился фактический стандарт, которого придерживаются серьёзные поисковые системы, — формально его закрепила IETF лишь в сентябре 2022 года документом RFC 9309.

Технически файл предельно прост. Он лежит по адресу вашдомен.de/robots.txt и состоит из строк вида User-agent, за которыми следуют Disallow или Allow и путь. Так конкретной программе обхода или всем сразу можно сообщить, какие каталоги ей следует избегать. Дополнительно здесь можно указать ссылку на Sitemap — адресный список сайта, — чтобы оба файла работали согласованно, а не противоречили друг другу.

Самое дорогое заблуждение всегда одно и то же: robots.txt не гарантирует исключение из индексации. Заблокированная страница всё равно может появиться в результатах поиска — без описания, лишь с голым адресом, — если на неё ссылаются другие сайты. Поисковая система тогда не запрашивала страницу, но по внешним сигналам сделала вывод о её существовании и всё же включила её в список с пометкой, что описание недоступно.

Кто хочет надёжно исключить страницу из поиска, нуждается в противоположном инструменту блокировки: указании noindex в заголовке самой страницы или в ограничении доступа. Но для этого страница вообще должна быть доступна для запроса — страницу, заблокированную через robots.txt, указание noindex прочитать не может. По действию оба инструмента частично исключают друг друга, а не складываются.

На практике мы видим прежде всего две ошибки. Первая: строка Disallow: / из этапа разработки, которую забыли убрать, и при переносе на реальный домен она блокирует весь сайт целиком — страницы в браузере загружаются как обычно, только поисковая система соблюдает запрет и остаётся снаружи. Вторая: заблокированные каталоги с CSS- или скрипт-файлами, из-за чего Google не может корректно отобразить страницу, чтобы её оценить.

Поэтому мы проверяем файл не в папке с исходным кодом, а вживую — запрашиваем его по адресу, по которому он реально отдаётся, потому что локальная копия после переноса или смены сервера может отличаться. Важно сохранять разграничение с двумя соседними файлами: robots.txt регулирует доступ, sitemap перечисляет адреса, а решает, будет ли запрошенная страница действительно включена в индекс, только индексация.