Індексація сайту та методи впливу на неї

#SEO 3 July 2018 Оцінити статтю

Що таке індексація сайту?

Індексація сайту – це процес обходу сайту краулерами та додавання його до бази пошукових систем в особливому вигляді. Тому ті сторінки, які є у видачі, називаються проіндексованими. Цей процес є дуже важливим для роботи та просування сайту, оскільки при неправильних вказівках пошуковим роботам у видачу можуть потрапляти сторінки з особистими даними, дублі та інше сміття.

Додавання сайту до індексу пошуковика

Для того щоб пошукова система знала про появу нового сайту, її потрібно повідомити про це особливим способом. Для цього є кілька варіантів, які можуть відрізнятися швидкістю чи ефективністю.

indeksatsiya-sajta-v-poiske

Додавання до сайту в Яндекс Вебмайстер і Google Search Console

Даний спосіб є найоптимальнішим варіантом, оскільки так пошукова система не тільки дізнається про новий сайт, але також ви отримаєте можливість на власні очі спостерігати процес індексації та контролювати його. Саме тому слід починати саме з цього методу.

 Go-Ya

Додавання засобами «Аддурілок»

Також у Яндекс.Вебмайстрі та GoogleSearchConsole є так звані аддурилки (від англ. слів add url). Це спеціальний сервіс, за допомогою якого можна дати вказівки пошуковій системі для швидкого обходу певних сторінок сайту. Зазвичай обхід сторінок відбувається протягом 1 до 24 годин. Ми рекомендуємо додавати сайти через аддури відразу після того, як ви налаштували вебмайстра пошукових систем. Для Google ви можете додати посилання сюди.

addurlg
Для того щоб додати сайт на швидкий обхід в Яндексі, потрібно налаштувати Вебмайстер і зайти в розділ Індексація та підрозділ Перехід сторінок.

addurly

Додавання зовнішнього посилання на ваш сайт

Даний метод полягає в тому, щоб на певному ресурсі, в якого хороша індексованість, ви розміщуєте посилання на свій сайт, і краулери при обході сайту-донора побачать посилання на непроіндексований сайт і додадуть його в чергу. Найкраще розміщуватися на популярних інформаційних або новинних порталах, оскільки в них найчастіше роботи можуть бути на сайті кожні 2-3 години. Такий спосіб додавання сайту менш швидкий і менш надійний, але все ж таки дієвий.

Додавання зовнішнього посилання з соціальних мереж

Цей метод став досить актуальним 2-3 роки тому, коли пошуковик почав повною мірою оцінювати сторінки соціальних мереж як повноцінні ресурси. Необхідно просто додати посилання на сайт. Але дуже важливим нюансом є те, що посилання має бути саме ПРЯМЕ, оскільки посилання через редирект не дасть жодного результату (наприклад, VK).

Індексованість сайту: як дізнатися?

Щоб зрозуміти, наскільки ефективно проіндексований сайт, необхідно знати кількість сторінок на сайті, які повинні бути проіндексовані, та сторінки, які вже були обійдені роботами.

I= N1 (проідексовані сторінки)/N2 (всі необхідні сторінки сайту)*100%.

Значення змінної N1 можна дізнатися кількома способами:

indexindexya

ind1

Значення змінної N2 можна перерахувати:

Наприклад: проіндексованих сторінок в Яндексі 321, в Google – 330. А всього сторінок на сайті 350. Тоді виходить це так:
Індексованість в Яндекс: formula1
Індексованість у Google: formula2
Якщо відсоток індексації менше 50%, це є дуже поганим показником і означає, що сайт має великі проблеми з індексацією та потрібен глибокий аналіз причин.

Якщо показник коливається від 50% до 80%, тоді на сайті проблеми з індексацією незначні. Ймовірно, це пов’язано з неправильним налаштуванням robots.txt і sitemap.xml.

Якщо показник від 80% до 100%, тоді індексація сайту нормальна. Жодних кардинальних виправлень здійснювати не потрібно.

Якщо цей коефіцієнт більше 100%, найімовірніше, на сайті є проблеми з неправильним налаштуванням robots.txt або неповною картою сайту.

Як покращити індексність сайту?

Для того щоб максимально прискорити індексацію сайту, необхідно правильно налаштувати взаємодію сайту з пошуковими роботами та гранично чітко їм показувати, що потрібно сканувати, а що ні. Для цього використовуються різні методи та функціонал. Для заборони індексування ми використовуємо 3 доступні способи, окремо про кожен з яких поговоримо нижче. Для того щоб показати роботам, що потрібно індексувати, ми складаємо спеціальні списки адрес, названі картами сайту. Це теж опишемо нижче.

Файл robots.txt

За допомогою директив у файлі ви можете дати рекомендації пошуковим роботам, що потрібно індексувати, а що ні. Але сторінки, закриті в robots.txt, можуть потрапляти у видачу, оскільки вказівки мають дорадчий характер при обході сторінок. Також якщо у вас з’явилися сміттєві сторінки у видачі, видалити їх ви не зможете, а просто зженіть у соплі (Supplemental index або results) – додаткова видача Google з низькоякісними сторінками. Для того щоб сторінки зникли з індексу та краулери їх точно не індексували, потрібно застосовувати інші методи.

robots

МЕТА-тег “Robots”

Даний метод закриття сторінок від роботів, що індексують, вже є не рекомендаційним, а обов’язковим до виконання. Використовуючи meta robots, можна видаляти сторінки з пошукової видачі, чого не дозволяв robots.txt. Також за допомогою даного тега можна не тільки керувати індексуванням вмісту, а й переходами за внутрішніми та зовнішніми посиланнями. Список директив, які застосовуються:

Тобто:

=  – дозволяється індексація та переходи

<metaname=“robots” content=“noindex, follow”> – не можна завантажувати вміст сторінки, але можна переходити за посиланнями

<metaname=“robots” content=“index, nofollow”> – можна завантажувати контент сторінки, але переходи заборонені

= – забороняється все

robotsmet

Застосування http-заголовка X-Robots-Tag

Даний спосіб управління є найбільш просунутим і гнучким, оскільки дає вказівки по роботі зі сторінкою відразу при завантаженні http відповіді сервера. Особливістю є те, що застосовується він не тільки для html-сторінок, але й для будь-яких файлів: картинок, відео, документів тощо. За допомогою meta robots можна закривати лише html-сторінки. Директиви у X-Robots-Tag такі ж, як і у метатегу robots:

Приклад http відповіді сервера сторінки з використанням тега X-Robots-Tag:

xrob

Індексування сторінок по карті сайту

Карта сайту – це файл зі списком усіх сторінок сайту, які мають бути проіндексовані та додані в пошукову видачу. За допомогою даного сайту ми спрощуємо пошукову роботу. Він не просто переходитиме за внутрішніми посиланнями, водночас витрачаючи час, краулінговий бюджет і потужності сервера, а відвідуватиме саме ті сторінки, які вказані в карті сайту.

Також дуже важливо, що в карті сайту можна вказувати пріоритет сканування та дату останньої зміни. Це дуже важливі параметри при великому сайті або ресурсі з контентом, що постійно змінюється. Наприклад, якщо вказана дата редагування (), навіщо роботу обходити заново сторінки, які не змінювалися з останнього разу? Краще вивантажувати ті, на яких змінювався контент. Або якщо вказано пріоритет (), тоді краулер обходитиме спершу сторінки з вищим пріоритетом, за інших рівних умов.

Наприклад, у нас є така карта сайту:

 

                 URL1

                 2018-01-02T12:41:56+01:00

                 1.0

 

 

                 URL2

                 2018-01-02T12:41:56+01:00

                 0.8

 

 

                 URL3

                 2018-01-05T12:41:56+01:00

                 0.8

Тоді першою буде індексуватися сторінка URL3 (змінювалася пізніше за всіх). Далі за нею URL1 (оскільки пріоритет 1).

Іванченко Сергій Керівник групи пошукового просування
схожі статті
підписатися:
Як правильно писати тексти для сайтів у 2021 році?
Як правильно писати тексти для сайтів у 2021 році?
# SEO
Основні фактори ранжування сайту в Google
Основні фактори ранжування сайту в Google
# SEO
Робота з «Турбо-сторінками»
Робота з «Турбо-сторінками»
# SEO
Коментарі