Быстрая проверка индексации страниц в Яндексе

#SEO 19 марта 2021

Индексация сайта – один из важнейших компонентов поискового продвижения. Часто ли вы сталкивались с тем, что поисковики по тем или иным причинам не хотят добавлять в поиск все страницы сайта? Или обратная ситуация, когда в поиске появляются сотни и тысячи других ненужных страниц, «мусорных» страниц. А ведь все это влияет напрямую на продвижение сайта.
В этой статье мы сегодня расскажем об эффективном и достаточно быстром способе мониторинга индексации сайта в Яндексе.

  1. Открываем вебмастер по нужному сайту
  2. Заходим Индексирование – Страницы в поиске:
  3. Страницы в поиске

  4. Выбираем вкладку «Все страницы»
  5. Вкладка

  6. Внизу нажимаем на скачать таблицу «XLS»
  7. Выгрузка данных в Excel

  8. Открываем полученный файл и видим 5 колонок. По названиям понятно, что каждая из них показывает:
    • url – адресс страницы
    • lastAccess – дата последнего сканирования страницы
    • title – Тайтл старницы
    • turboPageExist – наличие сформированной и добавленной в поиск турбо-страницы сайта
    • fromSitemap – наличие страницы в карте сайта

Выгрузка проиндексированных страниц

С таблицей мы определились и разобрались, тепреь наш алгорит действий можно условно разделить на несколько вариантов:

Ищем страницы, которых нет в поисковой выдаче

  1. Получаем любым способом список всех полезных (нужных) нам страниц сайта
  2. Добавляем этот список под списком из вебмастера и выбираем для колонки Условное форматирование – Повторяющееся значения. Подсвеченные удаляем и в нашем списке страницы остались те, которых нет в выдаче:
  3. Поиск страниц, которых нет в выдаче

  4. Еще способ: добавляем наш список страниц на новую вкладку и через формулу ПОИСКПОЗ ищем есть ли в выдаче наши УРЛ. Удаляем те УРЛ, где нашлась позиции, остальное – нет в поиске.
  5. Поиск страниц, которых нет в выдаче - 2

  6. Берем все УРЛ которых нет в поиске и добавляем на переобход в вебмастере
  7. Дальше разбираемся в причинах не индексации этих страниц

Ищем лишние страницы в поиске:

  1. В выгруженной таблице применяем Условное форматирование – Повторяющееся значения для колонки Title
  2. Проверяем вручную страницы с дублирующим Title. Там точно часть нужно будет исправить, а часть будет лишних или мусорных страниц. Удаляем ненужное из таблицы:
  3. Поиск лишних страниц в поиске

  4. Сортируем данные в колонке УРЛ от А до Я и просматриваем вручную все УРЛ. Визуально будет заметно страницы с динамическими параметрами и т.д.

Вот таким несложным образом можно до идеала довести выдачу по сайту, если делать такую проверку регулярно.

А вам интересно откуда Яндекс Вебмастер находит и индексирует всякие мусорные страницы сайта, которые не видны при выгрузке любым спайдером, да и которые не могли никак получиться из-за ошибок на сайте?

Если у вас в Яндекс Вебмастере включен обход по счетчикам, а он скорее всего включен, так как Вебмастер показывает этот как возможную ошибку. Так вот, если он включен, то это значит, что поисковик будет индексировать все страницы, которые увидели роботы Яндекс Метрики.

Обход по счетчикам

Например, есть сайт https://www.camping-elite.ru/, по какой то причине пользователь или еще кто то открывает на нем вот такой УРЛ — https://www.camping-elite.ru/hjfhgjkdfhgk/, конечно же такой страницы нет – 404. Но, данный заход увидела и записала Метрика, а значит роботы Вебмастера просканируют данную страницу и могут добавить ее в поиск, если бы она была 200 ОК. Поэтому, очень важно при составлении ТЗ по технической оптимизации, учитывать возможные ошибки и заранее делать условия, при которые все несуществующие страницы будут отдавать корректный код ответа.

похожие статьи
подписаться:
Что такое robots.txt и для чего он нужен
#SEO 5 июля 2018
3 способа создать карту сайта — sitemap.xml
#SEO 5 июля 2018
Работа с «Турбо-страницами»
#SEO 11 января 2020