Приветствую вас владельцы сайтов. С этого нового года в вебмастере Яндекса поменялась система анализа заголовков 404, что послужило появлением возможной проблемы в консоли диагностики сайта.
В консоли дословно написано, что:
Некорректно настроено отображение несуществующих файлов и страниц. Вероятно, на сайте некорректно настроен возврат HTTP-кода 404 Not Found. Это может помешать индексированию сайта.
Если перейти по ссылке внизу, то никакой конкретики там не найти. Однако, я разобрался в этом.
Что изменилось на этот раз
Проанализировав сайты с такой ошибкой и без неё, стало понятно почему так происходит.
Во-первых, у тех сайтов где появляется ошибка с некорректным отображением заголовков 404 наблюдается сперва редирект 302, а только потом отдача кода 404.
Заголовок 302 Found обозначает что ресурс временно перемещен. Так как пользователи не смогут увидеть подобные документы, показывать их в поиске не имеет смысла, и робот их не индексирует. Однако робот проиндексирует страницу, на которую установлено перенаправление, если она доступна.
Поэтому с обновлением поискового алгоритма у Яндекса наблюдается что бот стал анализировать первый заголовок а не конечный страницы.
Решение проблемы
Http код 404 надо настроить на сервере таким образом, чтобы он отображался самым первым без дополнительных кодов.
По-простому, бот Яндекса должен зайти на несуществующую страницу получить сразу 404 код http и выйти, без каких-либо редиректов 301 или 302.
Если у вас нет кастомной страницы 404 Not Found, то по сути ничего делать не надо. Сервер вернет верный заголовок.
Если у вас есть своя страница 404 на которую вы перебрасываете пользователя, то здесь уже надо постараться, чтобы правильно настроить отдачу кода 404. Бывает такое что на обычных хостингах для этого надо менять всю логику работы конкретного сайта.
Нужна помощь? Пишите в личные сообщения в Телеграм по этому адресу @sherechevskiy 👈 кликабельно.
