В Яндекс вебмастере некорректно настроен возврат http кода 404

Время чтения - 1 мин, 25 сек.
16 янв, 15:41
Дата
495

Просмотров

404 Page not found
404 Page not found

Приветствую вас владельцы сайтов. С этого нового года в вебмастере Яндекса поменялась система анализа заголовков 404, что послужило появлением возможной проблемы в консоли диагностики сайта.

Предупреждение в вебмастере об ошибке 404
Предупреждение в вебмастере об ошибке 404

В консоли дословно написано, что:

Некорректно настроено отображение несуществующих файлов и страниц. Вероятно, на сайте некорректно настроен возврат HTTP-кода 404 Not Found. Это может помешать индексированию сайта.

Если перейти по ссылке внизу, то никакой конкретики там не найти. Однако, я разобрался в этом.

Что изменилось на этот раз

Проанализировав сайты с такой ошибкой и без неё, стало понятно почему так происходит.

Во-первых, у тех сайтов где появляется ошибка с некорректным отображением заголовков 404 наблюдается сперва редирект 302, а только потом отдача кода 404.

Заголовок 302 Found обозначает что ресурс временно перемещен. Так как пользователи не смогут увидеть подобные документы, показывать их в поиске не имеет смысла, и робот их не индексирует. Однако робот проиндексирует страницу, на которую установлено перенаправление, если она доступна.

Поэтому с обновлением поискового алгоритма у Яндекса наблюдается что бот стал анализировать первый заголовок а не конечный страницы.

Решение проблемы

Http код 404 надо настроить на сервере таким образом, чтобы он отображался самым первым без дополнительных кодов.

По-простому, бот Яндекса должен зайти на несуществующую страницу получить сразу 404 код http и выйти, без каких-либо редиректов 301 или 302.

Если у вас нет кастомной страницы 404 Not Found, то по сути ничего делать не надо. Сервер вернет верный заголовок.

Если у вас есть своя страница 404 на которую вы перебрасываете пользователя, то здесь уже надо постараться, чтобы правильно настроить отдачу кода 404. Бывает такое что на обычных хостингах для этого надо менять всю логику работы конкретного сайта.

Нужна помощь? Пишите в личные сообщения в Телеграм по этому адресу @sherechevskiy 👈 кликабельно.

Маргарита Морозова
Автор

Программы для Пентестинга на Windows
Технологии, компьютер и интернет
Cтатья окажется полезной для тех, кто хочет начать изучать пентестинг и ищет подходящие инструменты для тестирования на проникновение в сети и приложениях на операционной системе Windows.
Июнь 2023
533
​​Планировщик заданий Windows
Технологии, компьютер и интернет
Отложенный запуск скриптов и программ возможен и на Windows благодаря встроенном планировщиком заданий.
Январь 2023
1272
​Находим номер телефона с помощью номера карты
Технологии, компьютер и интернет
Расскажем про способ нахождения номера телефона по карте. Действует не для всех платежных систем.
Октябрь 2022
2359
Прячем любое приложение на iPhone
Технологии, компьютер и интернет
Под видом обычного калькулятора можно скрыть любое приложение, о котором знаете только вы. На Android для этого существует приложение HideX, а на iPhone ничего даже скачивать не нужно.
Октябрь 2022
1425
Что такое кейлоггер
Технологии, компьютер и интернет
Такое безобидное слово, но оно обозначает совсем не детское приспособление, которое используется в плохих целях.
Октябрь 2022
909