12/10/2022 
2361
Інтернет-маркетинг
простою мовою
Содержание статьи
Почему сайт не индексируется?
Для начала необходимо проверить, представлены ли ваш сайт или его отдельные страницы в индексе Google. Чаще никакой проблемы нет, просто страница занимает недостаточно высокую позицию результатов поиска.
Действенный способ для проверки:
- Выключите безопасный поиск или перейдите на анонимную вкладку браузера
- Найдите интересующую страницу с помощью оператора поиска site:ваш-домен – подробнее об операторах поиска можете прочитать здесь
Примеры: site:example.com или site:example.com/zootovary
- Если вам удалось найти необходимую страницу, это означает, что она находится в индексе
Какие причины отсутствия сайта в индексе и что сделать для их устранения
Что касается вариантов, почему Google не индексирует сайт в целом, нужно тщательно изучать каждый частный случай, и найти источник этого явления как можно быстрее.
Сайт закрыт от индексации в Robots.txt
Одной из самых распространенных ошибок веб-мастеров является неправильно составленный robots. Наличие в нем блокирующих директив Disallow может препятствовать обработке ботом всего ресурса или отдельных его веб-страниц. Здесь важно помнить, что каждый сайт имеет страницы, которые нужно закрывать от индексации. К таковым относятся технические результаты поиска, get-параметров, логина, админа, корзины покупок, “мусорные” и т.д. Подробнее о настройке файла Robots.txt, в нашей статье «Как создать файл robots.txt?». Способы проверки корректности настройки файла Robots.txt:
- Добавить в название своего домена окончания /robots.txt и проверить собственноручно
- Открыть для проверки робота соответствующий инструмент от Google. Но для начала сайт нужно добавить в Google Search Console
- Просканировать сайт приложением Screaming Frog Seo Spider или Netpeak Spider. В данной программе вы зайдете страницы, закрытые для индексации, исправить ошибки в robots.txt и проверить корректность функционирования исправленного файла.
- Воспользоваться поисковой системой и найти другой удобный для вас сервис для проверки корректности настройки файла J
Мета-теги Robots
Иногда страницы сайта могут быть закрыты с помощью тега, устанавливаемого в коде страниц. Выглядит он так <meta name=“robots” content=“noindex”> – запрет сканирования контента сайта. Есть много директив, но остановимся на этой. Так вот, когда на странице между тегами <head></head> установлен данный тег, то гугл сканируя сайт не добавляет к индексу страницы, которые имеют тег роботс с директивой noindex, поэтому нужно проверять этот момент, когда заметили, что страницы сайта не попали в индекс. Как проверить метатеги Роботс:
- Инструмент для вебмастеров
В Google Search Console откройте отчет Индекс – Покрытие – вкладка Исключено
- С помощью программ Screaming Frog Seo Spider или Netpeak Spider
- Собственно, открыть код страницы (F12), и нажав комбинацию клавиш Ctrl+F найти meta name=”robots”
Запреты в файле .htaccess
Файл .htaccess содержит правила работы веб-сервера. Обычно этот файл размещают в корневой директории веб-сервера или корневой директории сайта. С помощью некоторых правил htaccess можно закрыть сайт от индексации. Проверьте файл .htaccess на вашем сервере, возможно ли в нем прописаны запретительные правила для индексирования.
Неправильно сконфигурирован или отсутствует тег rel=”canonical”
Тег rel=”canonical” используется на страницах с одинаковым содержимым. Этот тег указывает поисковым работам адрес страницы, который является основным. Рассмотрим на примере две страницы, имеющие одинаковое содержание:
- https://mybestua/original-page/ – основная страница;
- https://mybestua/dublicat-page/ – страница с дублирующим содержанием.
Чтобы в индексе была основная страница, можно использовать тег rel=canonical. В html код страницы https://mysupersite.com/dublicat-page/ между тегами <head></head> нужно добавить следующий тег: <link rel=”canonical” href=”https://mysupersite.com/original- page/” /> Если ваша страница или страницы не индексируются, проверьте наличие тега rel=”canonical” в html коде и его корректность.
Включен запрет на индексацию с помощью X‑Robots-Tag
X‑Robots-Tag – это директива в заголовках ответа сервера, с помощью которой можно запретить работам индексировать конкретные страницы или файлы. Пример HTTP-ответа сервера с директивой X-Robots-Tag, запрещающей индексацию страницы: HTTP/1.1 200 OK Date: Tue, 11 May 2022 22:34:11 GMT (…) X-Robots-Tag: noindex (…)
Другие причины
- В Google Search Console не указаны все варианты домена (http:// и https://)
- На сайт наложены санкции от поисковой системы
- Сайт не адаптирован под мобильные устройства
- Проблемы с техническим SEO
- Низкая скорость ответа на сервер сайта
- Сайт слишком молод, или домен с плохой историей
Подведем итоги
Чтобы сайт был успешным, важно размещать на нем хороший контент, работать с техническим SEO и создавать качественные обратные ссылки. Но все это будет бесполезно, если он не индексируется. Поэтому убедитесь, что все проблемы с индексацией устранены, и тогда Google отблагодарит вас хорошим трафиком.
коммерческое предложение
Другие статьи автора
04/02/2022
Почему цена на продвижение сайта так сильно отличается и какую выбрать? Думаю, каждый владелец сайта хотя бы раз задавался этим вопросом. А вот найти однозначный ответ не так просто, потому что обычному пользователю нужно приложить немало усилий, чтобы разобраться во всех факторах, влияющих на стоимость SEO.
23/12/2021
Скорость загрузки сайта - один из факторов ранжирования. Google предпочитает, когда скорость загрузки - от 1,5 до 3 секунд. Если страница грузится дольше, то больше половины пользователей покидают ее, так и не дождавшись конечной загрузки страницы.
22/11/2022
Google Business Profile (GBP) - это бесплатный инструмент, который позволяет вам влиять на то, как ваш бизнес отображается в поиске Google, на Google картах и в покупках Google. Используя этот инструмент, вы можете связываться с клиентами, публиковать обновления для бизнеса, составлять список продуктов или услуг и тому подобное.
Последние статьи по #SEO
17/06/2025
Искусственный интеллект ежедневно продолжает трансформировать возможности создания контента. Именно поэтому понимание, как поисковая система Google обрабатывает контент, созданный с помощью ИИ, имеет большое значение.
13/06/2025
В мире поисковых систем конкурируют две крупнейшие платформы: Google и Microsoft Bing. Но какой поисковик выбрать для бизнеса? Где реклама эффективнее и рентабельнее? И кто выиграет в 2025 году?
12/06/2025
Благодаря автоматизации, аналитике данных и торгам в режиме реального времени Programmatic реклама позволяет оптимизировать расходы и значительно повысить эффективность кампаний.