ГлавнаяСтатьиSEOЧто такое индексация сайта и как проиндексировать свой сайт в поисковых системах?

Что такое индексация сайта и как проиндексировать свой сайт в поисковых системах?

Самые важные новости сферы интернет-маркетинга

Что такое индексация и как проходит этот процесс в поисковых системах

Любой сайт — будь то корпоративный блог или магазин в e-commerce — проходит несколько важных этапов «рождения». После создания и первичного наполнения контентом, важно проиндексировать сайт поисковыми системами (далее — ПС). Как это происходит:

  • Роботы ПС «видят», что создан новый сайт (или страница).

  • Планируют его «осмотр».

  • Запрашивают контент сайта и анализирует его по ряду параметров.

  • Если все соответствует требованиям — сайт/страница попадает в индекс (своего рода «реестр» ПС), и включается в поисковую выдачу.

Когда пользователь вводит в поисковике запрос, сервис сверяет его с проиндексированными данными и выдает максимально релевантные страницы. Но если при индексации сайта были обнаружены проблемы (ошибки, низкая уникальность текстов, и др.) — ПС могут наложить «санкции» и понизить позиции сайта в выдаче. А то и вовсе исключить его из списка рекомендованных в поиске.

Технологии и алгоритмы индексации сайтов в поисковиках

Технология индексации сайта в Google

Google и Яндекс могут проиндексировать сайты по-разному. У Google действует правило «Mobile-first»: поисковые роботы (краулеры) рассматривают именно мобильную версию сайта и присваивают ей индекс. Поэтому если она проигрывает десктопной, содержит ошибки или не обладает полным функционалом — на нее могут быть наложены ограничения.

На частоту проверки сайта краулерами и на индексацию сайта в Гугл влияет так называемый «краулинговый бюджет»: чем он больше — тем чаще и быстрее проверяют сайт. Считается, что возраст сайта и частота обновления контента положительно влияют на размер «краулингового бюджета».

Технология индексации сайта в Яндекс

Яндекс принимает за основную десктопную версию сайта, проверяет и индексирует именно ее. Краулингового бюджета в этой ПС нет, показатели «доверия» к сайту или его цитируемость другими источниками не имеют подтвержденного значения.  Приоритет отдается сайтам с более высокой посещаемостью и большим количеством страниц. При наполнении сайта контентом стоит помнить, что Яндекс не проверяет документы размером более 10 Мб.

Как проверить индексацию сайта?

Существует несколько способов проверить индексацию страниц вашего сайта:

  • Через карту сайта (файл находится по адресу: имя сайта/sitemap.xml). Особенно это важно для индексации сайта в Гугл. Но есть риск неверного отображения некоторых URL страниц.

  • При помощи меню Яндекс Вебмастер и Google Search Console.

Проверка индексации в Google Search Console


  • Через специальные наборы команд — поисковые операторы. Самый простой — прописать в адресной строке «site:» и добавить полный URL вашего ресурса. В строке снизу будет показано количество проиндексированных страниц.

Проверка индексации через операторы


  • С помощью плагинов проверки (SEO Magic, RDS bar и др.). Их преимущество — не нужно заходить каждый раз в ПС и вводить запрос, они работают в автоматическом режиме.

  • Через специальные сайты-сервисы проверок: Netpeak Spider, Screaming Frog Seo Spider, Se Ranking, arsenkin.ru, serphunt.ru, raskruty.ru и др.

Факторы индексирования и их влияние на поисковые системы

На индексирование страниц и контента вашего сайта влияют несколько факторов:

  • Файл robots.txt. В нем содержатся «подсказки» для краулеров: какие страницы на сайте можно индексировать, а какие — нет. Влияние на индексацию этого файла зависит от типа ПС, но основные — Google и Яндекс, его все же учитывают.

  • Метатег <meta name=“robots” содержит (и при желании — позволяет настроить) команды для поисковых роботов, указывая им как лучше проиндексировать страницы.

  • В серверном программном обеспечении сайта можно добавить в заголовки X-Robots-Tag HTTP-ответы, содержащие настройки, указанные в файлах .htaccess и httpd.conf. Прописанные в них команды будут выполняться всеми краулерами.

  • Тег <noindex> запрещает индексировать определенный контент — например, текст, при помощи пары тегов <noindex>...</noindex> (работает только для поисковой системы Яндекс).

  • Вывод контента Ajax. Если версия, отображаемая для пользователей, отличается от того, что находится в сохраненной копии, при этом в текстовой версии или коде сохраненной копии отсутствует контент, то это первый признак, что контент страницы может не индексироваться роботами ПС.

Что делать, если сайт не индексируется?

Если ваш интернет-сайт не индексируется продолжительное время — возможно, существуют проблемы с оптимизацией и стоит проверить некоторые аспекты:

1) Не закрыт ли сайт для индексации через:

  • файл Robots.txt,
  • метатег <meta name=“robots”,
  • в файлах .htaccess и httpd.conf., 
  • X-robots-tag.

2) Если в указанных местах доступ не закрыт — стоит проверить, нет ли ошибок в теге rel canonical.

3) Проблемы могут возникать и на хостинге (например, слишком долгое время ответа сервера, или сервер дает неверный ответ на запрос ПС).

4) На сайте содержится неуникальный или контент низкого качества.

И только после проверки всех этих факторов можно искать причины в неверной работе самих ПС. Редко, но иногда сбои происходят именно на стороне поисковиков, но такая информация, как правило, быстро становится общедоступной.

Как ускорить индексацию сайта

Что можно предпринять для более быстрой индексации сайта поисковыми системами? Способов много, перечислим самые очевидные и действенные.

  • Установите автоматическое обновление карты сайта (sitemap). Особенно, если вам нужно быстро проиндексировать страницу в Google — эта ПС обращается к карте в первую очередь, в отличие от Яндекса, которая вначале «смотрит» на файл robots.txt. Все новые страницы должны тут же заноситься в карту сайта.

  • Тщательно проверьте страницы и размещенный контент. Сайт не должен содержать дубли страниц и контент с низким процентом уникальности. Эти аспекты «воруют» краулинговый бюджет, в результате чего роботы ПС могут просто не добраться до новых страниц, которым нужно индексироваться.

  • Проверьте, нет ли на сайте битых ссылок и каково количество внутренних редиректов. От первых нужно избавиться вовсе, количество вторых — свести к минимуму. Каждый из них также расходует бюджет поисковых роботов.

  • Еще раз проверьте, не закрыты ли добавленные страницы для индексации через robots.txt. Это важно для их дальнейшего продвижения.

  • Проверьте скорость загрузки страниц сайта при помощи PageSpeed Insight. И время ответа сервера, и скорость загрузки отдельных страниц должны быть минимальными (сервис сам измеряет эти показатели и выдаст вам рекомендации по устранению технических недостатков).

  • Проверьте качество внутренней перелинковки. Краулеры «путешествуют» по внутренним ссылкам так же, как и посетители, автоматически ускоряя скорость индексации страниц.

  • Выводите «превью» свежего контента на главную страницу — будь то текстовый материал или карточка с новым товаром. Так ваш контент окажется «на поверхности» сайта и будет быстрее замечен краулерами.

  • Следите за регулярностью обновления контента на сайте. Это относится не только к вновь публикуемым статьям, но и обновлению/корректировке старых.


Сергей Лысенко Статью подготовил Сергей Лысенко, 
ведущий спикер Webcom Academy.

Самое свежее за последнюю неделю

Коммерческое предложение: что это и как составить КП грамотно

Что такое коммерческое предложение, его виды и как грамотно составить коммерческие предложение – все это читайте в нашей статье!

Как настроить рекламу ВКонтакте самостоятельно — пошаговая инструкция
Как настроить рекламу ВКонтакте самостоятельно? Следуйте нашей пошаговой инструкции по настройке рекламы в ВК от создания рекламного кабинета до отправки объявления на модерацию
Конверсия в продажах: что это такое и как ее посчитать
Что такое конверсия продаж? Зачем нужна конверсия продаж и как ее рассчитать – читайте в нашей статье!
Что такое сторителлинг и как он применяется в бизнесе
Сторителлинг – что это? Какие задачи решает сторителлинг и как создать хорошую историю для вашего бизнеса – читайте в нашей статье.
5 советов от Webcom Academy, которые помогут вам учиться эффективнее

Для того, чтобы оставаться востребованным специалистом, нужно регулярно учиться: получать новые знания и навыки работы с современными инструментами. Как выстроить процесс учебы правильно — читайте в статье.

Наши контакты

Республика Беларусь,
Минск, ул. Маяковского, 16А

Пн-Пт: 9:00-18:00 без перерыва
Сб-Вс: выходной

info@webcom-academy.by Как добраться, видео-руководство Написать нам
  1. Главная
  2. Статьи
  3. SEO
  4. Что такое индексация сайта и как проиндексировать свой сайт в поисковых системах?