Индексация

При запросе поисковая система ищет не по интернету, а по собственному каталогу. Этот каталог называется индексом, а процесс, которым страница в него попадает, — индексацией. Пока Вашей страницы нет в индексе, для поиска она попросту не существует — как бы хорошо она ни выглядела и сколько бы ни стоила.

Путь туда состоит из трёх шагов, которые стоит различать. Сначала поисковая система должна вообще узнать, что такой адрес есть: по ссылке, через Ваш список адресов или через уведомление. Затем программа обхода — на профессиональном языке краулер — запрашивает страницу и отображает её так, как это делал бы браузер. И только после этого решается, будет ли содержимое включено в каталог.

Именно это последнее решение большинство упускает из виду. Запрошено — не значит включено. Поисковая система вправе пропустить любую страницу, которую сочтёт лишней: например, потому что тот же текст уже есть по другому адресу, потому что у страницы почти нет собственного содержания или потому что никто внутри сайта на неё не ссылается. Права на включение не существует, и никто не может его пообещать.

Если страница не в индексе, причины обычно банальны и созданы внутри самой компании. Выставлен переключатель под названием noindex, который прямо говорит поисковой системе пропустить страницу, — часто это остаток со времён разработки, когда сайт ещё не должен был быть публичным. Или файл robots.txt закрывает целый раздел. Или указание на основной адрес ведёт на другой адрес, и страница тем самым сама объявляет себя копией.

Посмотреть это Вы можете сами, не покупая никаких инструментов. В Google Search Console — бесплатном доступе, который каждый владелец сайта может настроить для своего домена, — есть отчёт об охвате и отдельная проверка по каждому адресу. Там прямым текстом написано, включена ли страница, а если нет, то по какой причине. Грубый первый взгляд возможен и через сам поиск: достаточно ввести команду site: и следом домен.

То, что повышает вероятность включения, выглядит буднично: на каждую страницу должна вести ссылка хотя бы с одной другой страницы Вашего сайта; на ней должно быть содержание, которого больше нигде нет; она должна быть доступна по одному-единственному постоянному адресу и стоять в актуальном списке адресов. Страницы, доступные только через выпадающее меню или форму, регулярно остаются незамеченными. А страницы, которые упираются в ошибку 404, со временем снова вылетают из индекса.

Пункт, который на практике стоит денег: после перестройки сайта страница может выпасть из индекса, хотя в браузере она выглядит безупречно. Причина тогда почти всегда в настройке, которую никто не проверил, — ведь страница же видна. Поэтому после каждого переезда нужна проверка, которая спрашивает не только «загружается ли страница», но и «разрешено ли ей быть в индексе».

Мы проверяем это так: запрашиваем каждый адрес из списка адресов по отдельности и протоколируем результат, а не берём выборку. При последней полной проверке нашего собственного сайта это были 287 адресов, все доступны. Чего мы при этом намеренно не обещаем — самого включения в индекс: мы можем создать предпосылки и задокументировать состояние, но решение принимает поисковая система.