ГлавнаяСтатьиSEO10 основных причин, по которым страница сайта может не находиться в индексе поисковых систем Яндекс или Google

10 основных причин, по которым страница сайта может не находиться в индексе поисковых систем Яндекс или Google

Самые важные новости сферы интернет-маркетинга

Причина номер 1. Новая страница или новый сайт

Первая причина, это то, что поисковые роботы еще просто не нашли новую страницу вашего сайта. В зависимости от того, какой ваш сайт, переобход страниц может занимать от нескольких минут до нескольких недель.

Чтобы узнать, находится ли в индексе страница Вам необходимо воспользоваться сервисами вебмастера Яндекс или Google Search Console.

В Яндекс.Вебмастере это раздел «Индексирование» - «Проверить статус URL». Если робот обошел и проиндексировал страницу, вы увидите уведомление «Страница обходится роботом и находится в поиске».

Если робот о странице еще не знает, вы увидите сообщение «Страница неизвестна роботу».

Яндекс.Вебмастер

В новой версии Google Search Console вам нужен инструмент «Проверка URL». Если робот обошел и проиндексировал страницу, вы увидите уведомление «URL есть в индексе Google».

Google

Google

Google

Если робот на странице еще не был, вы увидите сообщение «URL нет в индексе Google».

Причина номер 2. Страница или сайт закрыты от индексации в файле robots.txt

Существует специальный файл robots.txt, который позволяет указать роботам на то, какие страницы сайта должны быть в индексе поисковых систем, а какие страницы не должны быть включены.

Соответственно, если в файле прописаны запрещающие правила, в индексе поисковых систем данную страницу вы не найдете.

Как проверить, закрыта ли страница в robots.txt?

В Яндекс.Вебмастере: заходим в «Инструменты - Анализ файла robots.txt». В окно «Разрешены ли URL» вносим адреса страниц, которые мы хотим проверить. После того, как мы нажмем на кнопку «Проверить», внизу появится список введенных адресов и их статус: разрешены они для индексации или нет. Если нет, будет указано, какое из правил запрещает обход для робота.

В Google похожий инструмент находится на вкладке «Сканирование - Инструмент проверки файла robots.txt».

Важно! На данный момент эта вкладка находится в старой версии вебмастера!

Причина номер 3. Указан запрет в User-Agent

У поисковых систем есть свои требования к тому, как должен строиться файл robots.txt. И начинается он с приветствия. Приветствие может быть обращено к роботу яндекс, либо гугл, либо к обеим поисковым системам.

Часто для Яндекс и Google делают отдельные секции в файле robots.txt. А потом забывают вносить правки в эти секции. Из-за этого роботы потом некорректно начинают индексировать сайт.

robots.txt

Проверяем наличие проблемы также, как и в предыдущем случае. Главное - это делать в вебмастере Яндекс, и в вебмастере Google.

Причина номер 4. Запрет на индексацию страниц указан в мета-теге robots.

Суть этого мета-тега такая же, как и у файла robots.txt, только если страница закрыта в robots.txt она все равно может быть проиндексирована поисковыми системами. Но если на странице используется noindex или none, страница не будет добавлена в индекс.

1. Проверить использование данного мета-тега на странице можно в коде (сочетание клавиш Ctrl+U)

2. С помощью дополнения для браузера, например seo meta

3. С помощью вебмастеров.

Проверить

Причина номер 5. Некорректно настроенный атрибут rel=canonical.

Каноникал - это еще один атрибут, помогающий управлять индексацией страниц.

Если rel каноникал настроен на другую страницу, то вы говорите поисковому роботу о том, что она схожа с другой станицей и первую страницу не нужно добавлять в индекс поисковых систем.

Проверить использование данного атрибута можно также в исходном коде, с помощью дополнения для браузера - rds бар или seo meta.

Также это можно увидеть в вебмастере Яндекс («Страницы в поиске»- «Исключенные страницы». Проверять необходимо статус «неканонические»).

Причина номер 6. Проблемы с ответом сервера

Для того, чтобы страница индексировалась, ее код ответа сервера должен быть 200 ОК. Если страница отдает ответ сервера 404 или 301, в индекс поисковых систем данная страница не попадет.

Проверять код ответа лучше всего с помощью вебмастеров, они показывают наиболее точные данные. А вот визуальной проверкой лучше не ограничиваться, так как бывают случаи, когда страницы выглядят корректно, но код ответа сервера не 200.

Причина номер 7. Проблемы с хостингом или сервером

Представьте, вы приходите в магазин, а он не работает. Потом снова приходите в магазин, но он все равно не работает. Какова вероятность того, что вы вернетесь туда? Вероятнее всего очень маленькая.

Тоже самое происходит и с поисковыми системами. Если он приходит на ваш сайт, а он не работает, то робот просто исключает страницы из индекса и не показывает их пользователям. 

Правильно, зачем пользователей приводить на неработающий сайт.

Для того, чтобы отследить есть ли проблема, необходимо в вебмастерах проверять статус страниц. Если встречаются ошибки сервера 5хх (500, 503), а также если вам приходят уведомления из Яндекс.Метрики о том, что сайт не работает, необходимо решать данную проблему.

Причина номер 8. Проблемы со скоростью загрузки страниц

Скорость загрузки - важный показатель качества современного сайта. Если ваши страницы долго долго загружаются, роботы поисковых систем исключать такие страницы из индекса.

Кроме того, скорость загрузки страниц - является фактором ранжирования в поисковых системах. Поэтому, если у вас с этим есть проблемы, срочно это исправляйте!

Как проверить? Начните с инструмента PageSpeed Insights от Google. Дополнительно можете использовать сервисы Google Аналитика и Яндекс.Метрика.

Совет! Важно проверять скорость загрузки для нескольких типов страниц и не останавливаться выполнив только одну проверку, т.е. выполнять данные работы периодически.

Причина номер 9. Проблема с уникальностью и полезностью контента

Поисковики уделяют большое внимание качеству контента, поэтому, если на странице расположен не полезный контент, либо же дублирующийся с другими страницами, такие страницы не добавляются в индекс поисковых систем.

Как проверить, есть ли на сайте такие страницы - нужно зайти в вебмастер.

В Яндексе - это отчет «Страницы в поиске» - «Исключенные страницы». Проверять нужно статусы «Дубль» и «Недостаточно качественная».

В Google Search Console - это отчет «Покрытие» - «Страница является копией. Канонический вариант не выбран пользователем».

Google

Причина номер 10. Проблемы с AJAX

Если ваш сайт выполнен на технологии AJAX очень важно правильно выполнить требования поисковых систем, для того чтобы поисковые роботы смогли проиндексировать страницы вашего сайта.

Таким образом для каждой отдельной страницы должна быть своя HTML-версия.

И напоследок, дадим вам несколько советов, как ускорить индексацию:

  • отправляйте страницы на переобход с помощью вебмастеров
  • используйте файл sitemap.xml
  • используйте новейшие возможности, которые предоставляют вам поисковики. Например, Яндекс Метрике появилась возможность связать Яндекс Вебмастер и Яндекс Метрику, для того чтобы отправлять страницы на переиндексацию.

Также смотрите наш видеоролик https://youtu.be/HF-2dd4luQY с помощью которого вы сможете найти ошибки у себя на сайте и запланировать работы по их исправлению.

Если вы хотите продвинуть свой сайт в ТОП поисковой выдачи, тогда записывайтесь на курс по SEO-продвижению

Самое свежее за последнюю неделю

Скрывают статистику и требуют неустойку. 5 советов, как не попасться на уловки агентов по контекстной рекламе
Агентство не отдает и не дает переносить аккаунты?<br>
Агентство не дает доступы к аккаунтам и аналитике?<br>
Агентство вешает на вас курсовую разницу?<br>
Агентство создает аккаунты в «странных» валютах?<br>
Агентство дробит или пересоздает аккаунты?<br>
В статье вы найдете 5 советов, как не попасться на уловки агентов по контекстной рекламе!
Зачем оптимизировать картинки на сайте?
Считаете, что картинки не влияют на SEO?
Отнюдь! Релевантные и оптимизированные изображения помогут привлечь на ваш сайт трафик! Открывайте статью и узнайте об основных требованиях к оптимизации изображений и с помощью каких сервисов можно сжать картинку без потери качества!
Скорость загрузки сайта: как проверить и улучшить
В последнее время скорость загрузки сайта находится «в тренде». Давайте разберемся с тем, как она работает и какие есть способы ее улучшить. Открывайте статью и выжимайте максимум полезной информации!
Как проверить digital-агентство перед заключением контракта (+чек-лист)
Как выбрать digital-агентство для работы? В статье вы получите чек-лист от директора Webcom Group – Сергея Царика – о том, как сделать это грамотно и без чьей-либо помощи. Берите на вооружение!
«Окей, Google, нужно больше клиентов». Рассказываем, как заполнить профиль в My Business
Грамотно оформленный профиль в Google My Business позволит вам превратить пользователей в покупателей. В статье вы найдете пошаговую инструкцию, как правильно это сделать на примере компании Webcom Group. Читайте материал, вникайте в нюансы сервиса и используйте все возможности заполучить ваших клиентов!

Наши контакты

Республика Беларусь,
Минск, ул. Маяковского, 16А, 2 этаж

УНН 192012073

info@webcom-academy.by Как добраться, видео-руководство Написать нам
  1. Главная
  2. Статьи
  3. SEO
  4. 10 основных причин, по которым страница сайта может не находиться в индексе поисковых систем Яндекс или Google