12/10/2022 
2236
Інтернет-маркетинг
простою мовою
Содержание статьи
Почему сайт не индексируется?
Для начала необходимо проверить, представлены ли ваш сайт или его отдельные страницы в индексе Google. Чаще никакой проблемы нет, просто страница занимает недостаточно высокую позицию результатов поиска.
Действенный способ для проверки:
- Выключите безопасный поиск или перейдите на анонимную вкладку браузера
- Найдите интересующую страницу с помощью оператора поиска site:ваш-домен – подробнее об операторах поиска можете прочитать здесь
Примеры: site:example.com или site:example.com/zootovary
- Если вам удалось найти необходимую страницу, это означает, что она находится в индексе
Какие причины отсутствия сайта в индексе и что сделать для их устранения
Что касается вариантов, почему Google не индексирует сайт в целом, нужно тщательно изучать каждый частный случай, и найти источник этого явления как можно быстрее.
Сайт закрыт от индексации в Robots.txt
Одной из самых распространенных ошибок веб-мастеров является неправильно составленный robots. Наличие в нем блокирующих директив Disallow может препятствовать обработке ботом всего ресурса или отдельных его веб-страниц. Здесь важно помнить, что каждый сайт имеет страницы, которые нужно закрывать от индексации. К таковым относятся технические результаты поиска, get-параметров, логина, админа, корзины покупок, “мусорные” и т.д. Подробнее о настройке файла Robots.txt, в нашей статье «Как создать файл robots.txt?». Способы проверки корректности настройки файла Robots.txt:
- Добавить в название своего домена окончания /robots.txt и проверить собственноручно
- Открыть для проверки робота соответствующий инструмент от Google. Но для начала сайт нужно добавить в Google Search Console
- Просканировать сайт приложением Screaming Frog Seo Spider или Netpeak Spider. В данной программе вы зайдете страницы, закрытые для индексации, исправить ошибки в robots.txt и проверить корректность функционирования исправленного файла.
- Воспользоваться поисковой системой и найти другой удобный для вас сервис для проверки корректности настройки файла J
Мета-теги Robots
Иногда страницы сайта могут быть закрыты с помощью тега, устанавливаемого в коде страниц. Выглядит он так <meta name=“robots” content=“noindex”> – запрет сканирования контента сайта. Есть много директив, но остановимся на этой. Так вот, когда на странице между тегами <head></head> установлен данный тег, то гугл сканируя сайт не добавляет к индексу страницы, которые имеют тег роботс с директивой noindex, поэтому нужно проверять этот момент, когда заметили, что страницы сайта не попали в индекс. Как проверить метатеги Роботс:
- Инструмент для вебмастеров
В Google Search Console откройте отчет Индекс – Покрытие – вкладка Исключено
- С помощью программ Screaming Frog Seo Spider или Netpeak Spider
- Собственно, открыть код страницы (F12), и нажав комбинацию клавиш Ctrl+F найти meta name=”robots”
Запреты в файле .htaccess
Файл .htaccess содержит правила работы веб-сервера. Обычно этот файл размещают в корневой директории веб-сервера или корневой директории сайта. С помощью некоторых правил htaccess можно закрыть сайт от индексации. Проверьте файл .htaccess на вашем сервере, возможно ли в нем прописаны запретительные правила для индексирования.
Неправильно сконфигурирован или отсутствует тег rel=”canonical”
Тег rel=”canonical” используется на страницах с одинаковым содержимым. Этот тег указывает поисковым работам адрес страницы, который является основным. Рассмотрим на примере две страницы, имеющие одинаковое содержание:
- https://mybestua/original-page/ – основная страница;
- https://mybestua/dublicat-page/ – страница с дублирующим содержанием.
Чтобы в индексе была основная страница, можно использовать тег rel=canonical. В html код страницы https://mysupersite.com/dublicat-page/ между тегами <head></head> нужно добавить следующий тег: <link rel=”canonical” href=”https://mysupersite.com/original- page/” /> Если ваша страница или страницы не индексируются, проверьте наличие тега rel=”canonical” в html коде и его корректность.
Включен запрет на индексацию с помощью X‑Robots-Tag
X‑Robots-Tag – это директива в заголовках ответа сервера, с помощью которой можно запретить работам индексировать конкретные страницы или файлы. Пример HTTP-ответа сервера с директивой X-Robots-Tag, запрещающей индексацию страницы: HTTP/1.1 200 OK Date: Tue, 11 May 2022 22:34:11 GMT (…) X-Robots-Tag: noindex (…)
Другие причины
- В Google Search Console не указаны все варианты домена (http:// и https://)
- На сайт наложены санкции от поисковой системы
- Сайт не адаптирован под мобильные устройства
- Проблемы с техническим SEO
- Низкая скорость ответа на сервер сайта
- Сайт слишком молод, или домен с плохой историей
Подведем итоги
Чтобы сайт был успешным, важно размещать на нем хороший контент, работать с техническим SEO и создавать качественные обратные ссылки. Но все это будет бесполезно, если он не индексируется. Поэтому убедитесь, что все проблемы с индексацией устранены, и тогда Google отблагодарит вас хорошим трафиком.
коммерческое предложение
Другие статьи автора
17/11/2021
Анализ ключевых слов касается не только слов, но также фраз и вопросов, которые ваша целевая аудитория использует, чтобы найти нужные ей ответы, продукты и услуги. Эти фразы и вопросы являются очень важной составляющей рекламной кампании любого типа.
29/09/2021
HTTP - это протокол передачи гипертекста (аббревиатура образована от англ. слов Hyper Text Transfer Protocol). С этим протоколом мы сталкиваемся ежедневно, когда открываем браузер. Поскольку гипертекст представляет собой всем нам знакомые web-страницы.
HTTPS - это специальная модифицированная настройка для протокола HTTP, которая использует механизмы шифрования при обмене данными между сервером и браузером.
28/11/2023
Ранжирование сайтов - это распределение сайтов поисковыми системами в результатах выдачи по определенному запросу. Чтобы сайт занимал высокие позиции в поисковых системах, он должен подходить под максимальное количество факторов ранжирования. Существует более 1200 факторов, влияющих на ранжирование.
Последние статьи по #SEO
29/05/2025
Атрибут rel="canonical" — это элемент разметки HTML, который указывает поисковой системе основной (или канонический) URL страницы и помогает избежать дублирования контента.
24/04/2025
Обычно, для анализа разного рода данных (мета-теги, ключи и т.д.) SEO-специалисты используют различные сервисы по типу SEMRush, Serpstat или Ahrefs. Но весь мощный функционал этих инструментов не всегда уместен для каких-то небольших или повседневных задач SEO.
23/04/2025
Интент поискового запроса в SEO - смысл, который пользователь вкладывает в свой запрос к поисковику. Иначе интент можно назвать целью, намерением, в каком-то смысле даже болью пользователя.