Сайт выпал из индекса Яндекса или Google: причины и восстановление

Трафик из поиска упал в несколько раз за неделю, а в выдаче по своему названию сайт находится с трудом или не находится вовсе. Такое случается после обновления, переезда, взлома или случайно поставленной галочки. Хорошая новость: в большинстве случаев причина техническая и исправляется за день. Разберу, как её найти.

Сначала убедитесь, что проблема есть

Падение трафика и выпадение из индекса — разные вещи. Проверьте:

1. Сколько страниц в индексе. В Яндекс Вебмастере — Индексирование — Страницы в поиске. В Google Search Console — Индексирование — Страницы.
2. Поиск по сайту. Запрос site:example.by в Яндексе и Google покажет примерное количество страниц. Цифра неточная, но резкое падение до нуля видно сразу.
3. Позиции по брендовым запросам. Если по названию компании сайт исчез — это индекс. Если по названию есть, а по коммерческим запросам нет — скорее позиции.
4. Метрика. Падение только из одной поисковой системы указывает на её специфичную причину.

Причина 1. Запрет индексации

Самая частая и самая обидная причина.

• Галочка в WordPress. Настройки — Чтение — «Попросить поисковые системы не индексировать сайт». Её ставят на время разработки и забывают снять. На сайте появляется meta name=»robots» content=»noindex».
• robots.txt. После переноса с тестового сервера остаётся Disallow: / для всех роботов.
• Заголовок X-Robots-Tag на уровне сервера.
• SEO-плагин, у которого целые разделы помечены noindex.

Проверить быстро:

curl -s https://example.by/robots.txt
curl -sI https://example.by/ | grep -i x-robots
curl -s https://example.by/ | grep -i 'name="robots"'

Если видите Disallow: / или noindex там, где их быть не должно, — причина найдена.

Причина 2. Сайт отвечает ошибкой

Если робот несколько раз подряд получает 5xx или не может соединиться, страницы постепенно исключаются. Причины — падения хостинга, ошибки после обновления, блокировка роботов защитой от ботов.

Где смотреть:

• Яндекс Вебмастер — Индексирование — Статистика обхода: коды ответов по дням.
• Search Console — Настройки — Статистика сканирования: ошибки сервера и доступности.
• Логи веб-сервера: ищите запросы от YandexBot и Googlebot и их коды.

grep -E "YandexBot|Googlebot" access.log | awk '{print $9}' | sort | uniq -c

Отдельно проверьте файрвол и защиту от DDoS: слишком строгие правила иногда блокируют поисковых роботов вместе с ботами-парсерами.

Причина 3. Неправильные редиректы или canonical

• После переезда на HTTPS или смены домена нет 301-редиректов, и старые адреса отдают 404.
• Тег canonical на всех страницах указывает на главную — шаблонная ошибка в теме или плагине.
• Цепочки редиректов и циклы.

Проверьте несколько страниц: открывается ли нужный адрес, что указано в canonical, какой код отдаёт старый адрес.

Причина 4. Дубли и малоценные страницы

Яндекс исключает страницы, которые считает малоценными или маловостребованными, а Google — помечает как «Просканирована, но не проиндексирована». Это происходит, когда:

• много почти одинаковых страниц: фильтры, сортировки, теги, страницы пагинации;
• карточки товаров без описаний с одинаковым текстом производителя;
• страницы с парой предложений текста.

Что делать: закрыть технические дубли от индексации или склеить через canonical, дописать полезный текст на ключевые страницы, объединить слабые похожие страницы в одну сильную.

Причина 5. Взлом

Взломанный сайт может отдавать роботам спам-страницы, редиректы или вредоносный код. В Вебмастере появляется пометка о нарушениях или угрозах, в Search Console — раздел «Проблемы безопасности». Также признак — тысячи новых страниц в индексе на чужие темы. Порядок действий — в статье о вирусах на сайте.

Причина 6. Санкции

Реже, чем кажется, но бывает:

• Покупные ссылки в больших объёмах.
• Переоптимизированные тексты, написанные для роботов.
• Накрутка поведенческих факторов — в Яндексе за это сайт понижают надолго.
• Скрытый текст и дорвеи.

Информация о санкциях есть в Вебмастере в разделе «Диагностика — Безопасность и нарушения» и в Search Console в разделе «Меры, принятые вручную».

Как восстановить индексацию по шагам

1. Найдите и устраните причину: снимите noindex, исправьте robots.txt, ошибки сервера, редиректы.
2. Проверьте важные страницы инструментами: в Вебмастере — «Проверка ответа сервера», в Search Console — «Проверка URL».
3. Отправьте ключевые страницы на переобход: в Вебмастере — «Переобход страниц», в Search Console — «Запросить индексирование».
4. Обновите и отправьте карту сайта.
5. Если были нарушения — исправьте их и отправьте запрос на перепроверку.
6. Наблюдайте динамику 2–4 недели.

Страницы возвращаются не мгновенно. После снятия случайного noindex основные страницы обычно появляются в индексе за несколько дней, полностью — за пару недель.

Что делать, если причина не найдена

Если технических проблем нет, а страницы продолжают выпадать, посмотрите глубже:

• Изменения на сайте за последние месяцы. Новая тема, смена структуры, массовое удаление страниц или текстов.
• Качество контента. Если тексты скопированы с других сайтов или с сайта производителя, поисковики предпочитают оригинал.
• Скорость и мобильная версия. Очень медленный сайт робот обходит реже, и новые страницы попадают в индекс с задержкой.
• Структура. Страницы, на которые нет ссылок из меню и других страниц, робот находит хуже. Проверьте, что важные страницы доступны в два-три клика от главной.
• Аффилиаты и дубли сайта. Если у компании несколько сайтов с одинаковым содержимым, поисковик может оставить в выдаче только один.

Пример разбора по шагам

Типичная ситуация: сайт на WordPress переносят с тестового поддомена на основной домен, и через неделю трафик из поиска почти пропадает.

1. В Вебмастере количество страниц в поиске упало, причина исключения — «Запрещено мета-тегом robots».
2. В исходном коде главной — meta name=»robots» content=»noindex, nofollow».
3. В Настройки — Чтение стоит галочка, оставшаяся с тестового сайта.
4. Галочку сняли, проверили ответ сервера, отправили главную и разделы на переобход, обновили карту сайта.
5. Основные страницы вернулись в индекс в течение нескольких дней.

Именно поэтому проверка индексации входит в мой чек-лист запуска любого сайта.

Как не допустить повторения

• Мониторинг доступности сайта с уведомлением в Telegram.
• Проверка robots.txt и мета-тега robots после каждого переноса и запуска.
• Уведомления Вебмастера и Search Console на рабочую почту.
• Регулярный просмотр отчётов об индексировании хотя бы раз в месяц.
• Резервные копии и обновления — чтобы взлом не стал причиной.

Отдельный случай: новый сайт не индексируется

Если сайт запущен недавно, страниц в индексе может не быть просто потому, что роботы ещё не пришли. Ускорить процесс помогает добавление сайта в Яндекс Вебмастер и Google Search Console, отправка карты сайта и переобход главных страниц. Обычно первые страницы появляются в течение одной-двух недель. Если за месяц в индексе ничего нет — проверяйте причины из списка выше.

Чек-лист при выпадении из индекса

1. Количество страниц в индексе в Вебмастере и Search Console.
2. robots.txt, мета-тег robots, X-Robots-Tag.
3. Коды ответа главной и ключевых страниц.
4. Статистика обхода и ошибки сервера.
5. Редиректы и canonical.
6. Дубли и малоценные страницы.
7. Признаки взлома.
8. Сообщения о нарушениях.
9. Переобход и карта сайта после исправлений.

Частые вопросы