12/10/2022 
2643
Інтернет-маркетинг
простою мовою
Зміст статті
Чому сайт не індексується?
Для початку необхідно перевірити, чи ваш сайт або його окремі сторінки представлені в індексі Google. Найчастіше жодної проблеми немає, просто сторінка займає недостатньо високу позицію результатів пошуку.
Дієвий спосіб для перевірки:
- Вимкніть безпечний пошук, або перейдіть на анонімну вкладку браузера
- Знайдіть сторінку яка вас цікавить за допомогою оператора пошуку site:ваш-домен – детальніше про оператори пошуку можете прочитати тут
Приклади: site:example.com або site:example.com/zootovary
- Якщо вам вдалося знайти необхідну сторінку, це означає що вона є в індексі
Які причини відсутності сайту в індексі та що зробити для їх усунення
Що стосується варіантів, чому Google не індексує сайт в цілому, потрібно ретельно вивчати кожен окремий випадок, і знайти джерело цього явища якнайшвидше.
Сайт закритий від індексації у Robots.txt
Однією з найпоширеніших помилок веб-майстрів є неправильно складений robots. Наявність в ньому блокуючих директив Disallow може перешкоджати обробці ботом всього ресурсу або окремих його веб-сторінок. Тут важливо пам’ятати, що кожен веб-сайт має сторінки, які потрібно закривати від індексації. До таких відносяться технічні результати пошуку, get-параметрів, логіна, адміна, кошики покупок, “сміттєві” тощо. Докладніше про налаштування файла Robots.txt, в нашій статті «Як скласти файл robots.txt?» Способи перевірки коректності налаштування файла Robots.txt:
- Додати до назви свого домена закінчення /robots.txt і перевірити власноруч
- Відкрити для перевірки роботса відповідний інструмент від Google. Але для початку сайт потрібно додати в Google Search Console
- Просканувати сайт програмою Screaming Frog Seo Spider або Netpeak Spider. В даній програмі ви зайдете сторінки, які закриті для індексації, виправити помилки в robots.txt та перевірити коректність функціонування виправленого файлу.
- Скористатися пошуковою системою та знайти інший зручний для вас сервіс для перевірки коректності налаштування файлу J
Мета-теги Robots
Деколи сторінки сайту можуть бути закриті за допомогою тега, який встановлюється в коді сторінок. Виглядає він так <meta name=“robots” content=“noindex”> – заборона сканування контенту сайту. Є багато директив, але зупинимось на цій. Так от, коли на сторінці поміж тегами <head></head> встановлений даний тег, то гугл скануючи сайт не додає до індексу сторінки які мають тег роботс з директивою noindex, тому потрібно перевіряти цей момент, коли помітили що сторінки сайту не потрапили в індекс. Як перевірити метатеги Роботс:
- Інструмент для вебмайстрів
У Google Search Console відкрийте звіт Індекс – Покриття – вкладка Виключено
- За допомогою програм Screaming Frog Seo Spider або Netpeak Spider
- Власноруч відкрити код сторінки (F12), та натиснувши комбінацію клавіш Ctrl+F знайти meta name=”robots”
Заборони в файлі .htaccess
Файл .htaccess містить правила роботи веб-сервера. Зазвичай цей файл розміщують у кореневій директорії веб-сервера або кореневої директорії сайту. За допомогою деяких правил .htaccess можна закрити сайт від індексації. Перевірте файл .htaccess на вашому сервері, чи можливо в ньому прописані заборонні правила для індексування.
Неправильно налаштований або відсутній тег rel=”canonical”
Тег rel=”canonical” застосовують на сторінках з однаковим вмістом. Цей тег вказує пошуковим роботам адресу сторінки, яка є основною. Розглянемо на прикладі дві сторінки, які мають однаковий зміст:
- https://mybestua/original-page/ – основна сторінка;
- https://mybestua/dublicat-page/ – сторінка з дублюючим змістом.
Щоб в індексі була основна сторінка, можна застосувати тег rel = canonical. У html код сторінки https://mysupersite.com/dublicat-page/ між тегами <head></head> потрібно додати наступний тег: <link rel=”canonical” href=”https://mysupersite.com/original-page/” /> Якщо ваша сторінка або сторінки не індексуються, перевірте наявність тега rel=”canonical” у html коді та його коректність.
Ввімкнена заборона до індексації задопомогою X‑Robots-Tag
X‑Robots-Tag – це директива у заголовках відповіді сервера, за допомогою якої можна заборонити роботам індексувати конкретні сторінки чи файли. Приклад HTTP-відповіді сервера з директивою X-Robots-Tag, яка забороняє індексацію сторінки: HTTP/1.1 200 OK Date: Tue, 11 May 2022 22:34:11 GMT (…) X-Robots-Tag: noindex (…)
Інші причини
- У Google Search Console не вказано всі варіанти домену (http:// та https://)
- На сайт накладені санкції від пошукової системи
- Сайт не адаптований під мобільні пристрої
- Проблеми з технічним SEO
- Низька швидкість відповіді серверу сайту
- Сайт занадто молодий, або домен з поганою історією
Підведемо підсумки
Щоб сайт був успішним, важливо розміщувати на ньому хороший контент, працювати з технічним SEO та створювати якісні зворотні посилання. Але все це буде марно, якщо він не індексується. Тому переконайтеся, що всі проблеми з індексацією вирішені, і тоді Google віддячить вам хорошим трафіком.
комерційна пропозиція
Інші статті автора
04/02/2022
Чому ціна на просування сайту так сильно відрізняється і яку вибрати? Думаю, кожен власник сайту хоча б раз ставив це питання. А ось знайти однозначну відповідь не так просто, тому що звичайному користувачеві потрібно докласти чимало зусиль, щоб розібратися у всіх факторах, що впливають на вартість SEO.
12/10/2022
Щоб сайт був успішним, важливо розміщувати на ньому хороший контент, працювати з технічним SEO та створювати якісні зворотні посилання. Але все це буде марно, якщо він не індексується.
Тому переконайтеся, що всі проблеми з індексацією вирішені, і тоді Google віддячить вам хорошим трафіком.
29/09/2021
HTTP – це протокол передачі гіпертексту (абревіатура утворена від англ. слів Hyper Text Transfer Protocol). З цим протоколом ми стикаємося щодня, коли відкриваємо браузер. Оскільки гіпертекст є всім нам знайомі web-сторінки.
HTTPS – це спеціальне модифіковане налаштування для протоколу HTTP, яка використовує механізми шифрування під час обміну даними між сервером та браузером.
Останні статті по #SEO
29/05/2025
Атрибут rel="canonical" — це елемент розмітки HTML, який вказує пошуковій системі основний (або канонічний) URL сторінки та допомагає уникати дублювання контенту.
20/05/2025
23 травня 2025 року відбудеться сьома SEO-конференція Collaborator.pro — масштабний галузевий івент про просування в пошукових системах.
24/04/2025
Зазвичай, для аналізу різного роду даних (мета-теги, ключі тощо) SEO-спеціалісти використовують різноманітні сервіси по типу SEMRush, Serpstat чи Ahrefs. Але весь потужний функціонал цих інструментів не завжди доречний для якихось невеликих або повсякденних задач SEO.