Статусы 404 и 410 подробно

Есть простой профессиональный маркер, который позволяет быстро понять уровень специалиста по SEO.

Если человек годами работает с технической оптимизацией, но при разговоре о массовом удалении URL искренне удивляется существованию статуса 410 - пожалуй, это повод насторожиться. Потому что различие между 404 и 410 - это не "техническое SEO-душнилово", а базовая часть управления индексацией.

Мы регулярно сталкиваемся с ситуациями, когда подрядчики:

• отдают 404 вместо 410 при массовой чистке,
• оставляют "soft 404" под видом 200 OK,
• или вообще не контролируют серверные статусы.

А затем эти же люди удивляются, почему в Яндексе и Google месяцами висит "мусор" в индексе.

Что ж, давайте попробуем разобраться в чем тут разница и насколько это вообще важно для успешного SEO.

Что такое ошибка 404 Not Found

Статус 404 Not Found говорит нам, что страница по адресу не найдена, но при этом сервер не утверждает, что она удалена навсегда.

Как реагируют поисковые системы

• URL постепенно выпадает из индекса.
• Поисковик может периодически перепроверять его.
• Процесс деиндексации занимает время.

Когда уместно отдавать 404

Рассмотрим самые типичные сценарии, где ответ 404 ожидаем и уместен:

• Страница временно отсутствует (например, стала черновиком).
• Ошибка в URL (опечатка).
• Неверные динамические параметры, от которых зависит контент.
• Некорректное применение фильтров/выборки.

Еще раз резюмируем:
Статус 404 - это когда мы не просто не нашли контент, но еще и не уверены - а должен ли он вообще существовать по этому адресу.

Что такое ошибка 410 Gone

Статус 410 Gone говорит нам, что страница удалена намеренно и безвозвратно; и ее больше тут искать не нужно. Как следует из вышесказанного, это куда более сильный и однозначный сигнал для поисковика.

Как реагируют поисковые системы

• URL куда быстрее исключается из индекса.
• Повторные обходы ботом происходят реже.
• Экономится ваш краулинговый бюджет.

Когда уместно отдавать 410

Сценарии для применения 410 вместо 404 вполне очевидны:

• Страница/услуга/товар отключены навсегда.
• Или удален устаревший раздел сайта/каталога.
• Вы производите чистку SEO-мусора.
• Вам нужно массовое удаление тысяч URL.

Еще раз резюмируем:
Статус 410 - значит контента по этому адресу нет сознательно, его больше тут не будет и его надо забыть (желательно навсегда)!

Ключевые отличия статусов

Их проще всего представить в виде небольшой таблицы:

Влияние на SEO

Ну а теперь к важному - как это всё вообще влияет на SEO.

1. Скорость очистки индекса

410 позволяет быстрее убрать ненужные URL из индекса, особенно при массовых удалениях. Если при 404 поисковик будет регулярно возвращаться к страницам, надеясь что они "вернутся к жизни", то при 410 этот сценарий уже менее вероятен.

2. Краулинговый бюджет

Про него часто забывают, но для крупных сайтов это очень критичный момент. 410 уменьшает бессмысленные повторные обходы (см.выше) и позволяет роботу сосредоточиться на существующих и действительно важных целях для индексации.

3. UX и поведенческие сигналы

Просто универсальное напоминание. Независимо от статуса у вас должна быть корректная страница ошибки, содержащая: навигацию, ссылки на ключевые разделы (в идеале, еще и поиск по сайту). Иначе будет страдать пользовательский опыт.