Что такое карта сайта и три способа, как создать файл sitemap.xml

Прежде чем непосредственно перейти к содержанию статьи, необходимо разобраться, что означает термин «Карта сайта», ведь в общем смысле он имеет два разных значения. 

Первое – это список всех страниц сайта, который обычно размещается на странице сайта возле футера или имеет отдельную страницу. Эта карта используется для облегчения взаимодействия пользователя с сайтом и относится к внутренней навигации.

Второе – специальный файл, также содержащий информацию о структуре вашего сайта, но предназначенный для роботов поисковых систем.

И вот именно об этой карте сайта дальше будет идти речь в нашей статье.

Что такое карта сайта

Карта сайта или Sitemap – это файл, с помощью которого есть возможность сообщить поисковикам, какие страницы и файлы следует считать важными на сайте, а также предоставить ценную информацию о них. Например, когда было последнее обновление страницы, наличие изображений или видео, а также список всех альтернативных языковых версий страницы.

Основные виды файла Sitemap

Существуют три основных формата файла Sitemap:

1. Файл Sitemap в формате XML – наиболее универсальный и популярный формат карты сайта. Кроме полной информации о каждом URL, его можно расширять дополнительными данными, а большинство систем управления контентом (CMS) генерируют его автоматически. Но для больших сайтов формирование этих файлов может быть достаточно сложной задачей. Также для сайтов без системы управления контентом его необходимо будет формировать с нуля.        
2. RSS, mRSS и Atom 1.0 – похожи по структуре с XML, но содержат меньше дополнительных данных о ваших файлах. Основное преимущество – большинство CMS генерируют их автоматически.  
3. Текстовый файл sitemap – обычный файл с расширением TXT, который может содержать только URL HTML-страниц. Его можно сформировать только вручную, а Google получает сведения о текстовом контенте, который необходимо проиндексировать.

Каждый из этих форматов имеет свои преимущества и недостатки, но для Google нет никакой разницы, какой из форматов вы используете на своем сайте. Поэтому следует выбирать вариант, наиболее подходящий для вашего сайта, и в зависимости от гибкости его настроек.

Есть ли у всех сайтов карта сайта?

По умолчанию файл sitemap отсутствует на сайте, но если веб-ресурс имеет систему управления контентом, то можно генерировать простую карту с помощью плагинов. К примеру, для WordPress плагин Yoast сгенерирует индекс файла, который будет содержать карты по всем доступным типам страниц на сайте.

Если на новом сайте отсутствует CMS, то добавить файл карты следует самостоятельно или с помощью технических специалистов. 

Как проверить, есть ли на сайте карта сайта

По умолчанию файл Sitemap находится в корневой директории вашего сайта. И самый простой способ — это ввести в строку поиска «https://yourdomain.com/sitemap.xml».

К примеру, возьмем сайт samsung.com:

Не всегда файл называется sitemap.xml. Например, имя может быть sitemap_index.xml. Обычно в таких случаях должен быть настроен редирект на страницу карты или файла индекса. Если перенаправление не происходит, и вы видите страницу ошибки, то либо редирект не настроен, и тогда следует узнать корректное название файла, либо карта сайта отсутствует на сайте.

Другой способ узнать, есть ли на сайте Sitemap – проверить наличие ссылки на карту в файле robots.txt.

Для этого вводим в поисковую строку «https://yourdomain.com/robots.txt» и проверяем, есть ли соответствующая директива:

В файле robots.txt могут быть ссылки сразу на несколько карт сайта.

Важна ли карта сайта для SEO?

Сам по себе файл sitemap.xml не является фактором ранжирования Google, то есть прямого влияния на рейтинг вашего ресурса в поиске он не имеет. Таким образом, даже без карты сайта ваш ресурс будет индексироваться, а поисковые системы без проблем будут сканировать ваш контент.

Но с помощью Sitemap можно обратить внимание Google на наиболее приоритетные страницы или целые разделы вашего сайта, которые должны попасть в результаты поиска в первую очередь. Это позволит не тратить впустую краулинговый бюджет и ускорить процесс индексации вашего контента. Для SEO-оптимизации сайта это означает, что мы экономим время и ресурсы для привлечения пользователей с органического трафика. Лучшим вариантом карты для поискового продвижения является файл Sitemap с расширением XML. С его помощью можно указать наибольшее количество информации о наших страницах, а также добавить сведения о важных изображениях или видео, которые также влияют на ранжирование страницы в поиске.    

Когда требуется sitemap.xml

Если у вас большой сайт. Краулинговый бюджет ограничен, а значит, его банально не хватит на все страницы вашего сайта, если Googlebot будет сканировать все подряд. Также, если на сайт постоянно добавляется большое количество контента, то не факт, что на все новые страницы есть ссылки, и поисковые работы могут их просто не заметить.

Если у вас есть новый сайт. Обычно вновь созданные ресурсы не имеют внешних ссылок, и роботы поисковых систем не могут попасть на страницы вашего сайта, что значительно замедляет процесс индексации.

Сайт содержит много мультимедийного контента. Если на вашем ресурсе много видео и изображений, то с помощью sitemap.xml можно предоставить сведения о них в Google. Мы указываем поисковикам, что этот контент важен на нашем сайте, и получаем больше шансов на то, что он появится в результатах поиска.

У вас новостной сайт. Для новостного сайта критически важна скорость индексации новых страниц. Если ваш ресурс представлен в Google новостях, то карта сайта предоставляет сведения об обновлениях страницы и помогает быстрее попасть актуальным новостям в поиск.

Что входит в sitemap.xml

Синтаксис файла sitemap.xml состоит из атрибутов:

Обязательные:

<urlset> – инкапсулирует файл и ссылается на стандарт протокола;

<url> – родительский тег для каждой записи URL;

<loc> – URL-адрес страницы. Значение ограничено 2048 символами.

Опциональные:

<lastmod> – дата последнего обновления страницы;

<changefreq> – как часто планируется обновление страницы;

<priority> – приоритет для сканирования страницы относительно других URL-адресов на вашем сайте. Должно быть в диапазоне от 0.0 до 1.0.

В документации Google указано, что на данный момент атрибуты <priority> и <changefreq> игнорируются поисковыми работами, а атрибут <lastmod> принимается во внимание только в том случае, если время обновления в атрибуте совпадает с реальным временем, когда были внесены изменения на странице.

Пример синтаксиса файла sitemap.xml, содержащий одну страницу:

Основные требования к файлу sitemap.xml

• файлу sitemap.xml должен соответствовать протокола Sitemap;
• значение тегов должно быть экранировано;
• файл должен быть в кодировке UTF-8;
• файл должен находиться в корне сайта;
• размер файла ограничен 50MB, а количество URL не должно превышать 50000 страниц;
• указанные должны быть только абсолютные URL (https://yourdomain.com/category/), а не относительные (/category/);
• в файле следует указывать только канонические URL.

Индекс карты сайта

В случае, если страниц слишком много и один файл не может соблюдать ограничений, или вы хотите указать только конкретные разделы и файлы, которые приоритетны для вас, то вместо одной карты, создаются отдельные файлы Sitemap. То есть, мы разделяем файл на отдельные меньшие части. В этом случае наш sitemap.xml будет файлом индекса карты сайта, который будет включать в себя ссылку на все отдельные карты сайта.

Пример индексной карты сайта, если у нас есть каталог автотоваров с двумя подразделами: покрышки и диски, и мы хотим разделить их. Тогда на все страницы не каталога (главная, доставка и т.д.) мы создаем файл sitemap_index.xml, страницы из раздела покрышки мы оформляем как sitemap_pokrishki.xml, а с дисками – sitemap_diski.xml, и добавляем эти файлы в корневую папку. Создаем файл с именем sitemap.xml со следующим содержанием:

Файл Sitemap для изображений

Для изображений можно добавить соответствующие теги в существующий файл Sitemap или создать отдельную карту. Это полезно, когда необходимо, чтобы в поиск быстро попали изображения, а не только страница, например, фото вашего товара. Или когда поисковые роботы не могут получить к ним прямой доступ из-за того, что контент размещен через JavaScript или другие технические решения.

Пример синтаксиса файла Sitemap для изображений:

Карта сайта для видео

Похож принцип, как и для карты для изображений. Имеет большее количество атрибутов, но вместе с тем и большее количество ограничений, среди которых доступность без необходимости входа в аккаунт, доступность к индексации в файле robots.txt и т.д.

Пример синтаксиса файла Sitemap для видео:

Карта сайта для новостей

Файл sitemap.xml также можно расширить специальными тегами для новостных статей для ускорения их попадания в поиск, но для того, чтобы лучше отслеживать статистику вашего контента в Google новостях в Google Search Console рекомендуется создавать отдельные файлы Sitemap для этого типа контента.

Пример синтаксиса для новостей:

Данные о локализованных версиях страниц

Еще одним преимуществом использования Sitemap именно в формате XML является возможность добавить с помощью дочернего элемента <xhtml:link rel=”alternate” сведения обо всех языковых версиях и странах, для которых создан контент с помощью атрибута hreflang.

Пример синтаксиса для Sitemap, содержащий сведения о иноязычных версиях страниц:

3 основных способа создать файл sitemap.xml для вашего сайта

Способ 1: Самостоятельное создание карты сайта

Этот способ может подойти только в том случае, если количество страниц на сайте не будет меняться. Иначе при добавлении новых страниц, они могут не попадать в индекс, и каждый раз придется добавлять их вручную. А в sitemap.xml придется постоянно дописывать новые строчки. Поэтому в большинстве случаев мы не пользуемся этим способом. Также он категорично не подходит для больших интернет-магазинов.

Чтобы сделать простую карту сайта собственными руками, нам нужно иметь 2 вещи:

• список всех страниц сайта;
• шаблон карты сайта, подготовленный в Google таблице (скачать).

Список страниц сайта можно получить с помощью программ выгрузки сайта. Их сейчас существует несколько. Это могут быть:

• NetPeakSpider (платная, пробный период);
• Xenu’s (бесплатная);
• WebSite Auditor (платная, есть бесплатная версия на ограниченное количество адресов);
• ScreamingFrog (платная) и т.д.

Получив список адресов страниц сайта, мы открываем шаблон для Sitemap или загружаем как таблицу Excel.

Далее мы копируем список адресов страниц в столбик B. Выделяем все заполненные ячейки в столбце А и за черненький квадратик, который внизу слева, протягиваем до конца столбца А.

Так же поступаем и со столбцами С и D.

Что должно получиться:

С помощью программы «Блокнот» или аналогичного ПО создаем пустой текстовый файл под названием «sitemap», а расширение меняем на “.xml” и открываем его.

В начале файла вставляем следующие строки:

<?xml version=”1.0″ encoding=”UTF-8″?>

<urlset xmlns=”http://www.sitemaps.org/schemas/sitemap/0.9″>

Далее мы из шаблонного файла Excel полностью копируем колонку D.

И вставляем в наш файл карты сайта.

Далее мы вставляем последнюю строчку:

</urlset>

Затем мы полученный файл слхраняем и добавляем в корень сайта, где находится файл robots.txt.

Сделать это можно с помощью программы WinSCP или TotalComander, просто протащив файл в окно с открытой корневой папкой.

Способ 2: Автоматическая генерация с помощью сервисов и программ

Данный метод отличается от первого только тем, что не нужно самому выгружать адреса сайта и генерировать файл карты сайта. За вас это сделает приложение. Но недостаток этого в том, что он:

• будет плохо работать при неправильно сформированном robots.txt;
• постоянно нужно вручную обновлять карту сайта или добавлять url новых страниц, добавленных на сайт с момента последней генерации файла;
• если количество страниц на сайте больше ограничения, тогда функционал может быть платным.

Данный метод подойдет для сайтов с небольшой структурой, которая длительное время не меняется.

Одним из самых популярных сервисов для создания карты сайта является MySitemapGenerator. В этом сервисе можно сгенерировать файл на 500 страниц с указанием приоритетов страниц и датой последних обновлений.

Заходим на сайт и выбираем тарифный план:

Далее вставляем адрес нашего ресурса и нажимаем «Старт».

Ждем, пока происходит процесс анализа сайта – пока странички переходят краулером. После этого загружаем готовый файл.

При сохранении задаем имя «sitemap.xml» и сохраняем файл.

После этого мы копируем файл в корневую папку сайта (описывалось в 1 способе).

Таких программ действительно очень много. И какой из них пользоваться, выбирать вам. Все они имеют схожую логику работы, поэтому расписывать по каждой отдельно нет смысла.

Кроме онлайн-генераторов карт сайта, есть и программы для ПК с краулерами. К примеру, в программе ScreamingFrog есть функция генерации карты сайта.

Но принцип работы у нее такой же, как и у онлайн-сервисов.

Способ 3: Автогенерируемая карта сайта

Это наиболее оптимальный вариант, с нашей точки зрения. Создаются подобные карты сайта либо встроенным функционалом админки, либо программистами с помощью php-файлов, генерирующих ее «на лету». Если у вас стоит одна из распространенных CMS типа: WordPress, Opencart, то они имеют либо встроенный функционал, либо можно установить плагины, и при правильной настройке они будут генерировать достаточно хорошие карты.

Но эту работу лучше не делать, а написать ТЗ для программиста. Оно должно быть примерно следующего содержания:

1. Создать автогенерируемую карту сайта с генерацией в файл sitemap.xml, находящийся в корневой папке.
2. Настроить добавление к ней только канонических страниц и файлов, которые не закрыть от индексации, с помощью тега meta robots “noindex” и файла robots.txt.
3. Настроить тег “lastmod”, который указывает дату последнего изменения страницы. Данные обновления страницы брать из системы управления контентом (CMS).
4. Настроить перегенерацию сайта в случае добавления/удаления страниц, но не реже 1 раза в месяц.

Также можно настраивать генерацию файла карты сайта при любом обращении к нему. Но если количество страниц велико, это может существенно нагрузить хостинг, что приведет к тому, что сайт будет недоступен определенное время. 

Как отправить файл sitemap.xml в Google

Для того чтобы поисковая система быстрее получила данные о вашей карте сайта, можно выполнить два основных действия:

Добавление Sitemap в файл robots.txt

В файл robots.txt, который должен находиться в корне сайта, в самом конце необходимо прописать директиву со ссылкой на вашу карту или несколько файлов Sitemap.

Добавление в Google Search Console

Если вы подтвердили свой ресурс в инструменте Google Search Console, то можете отправлять карты сайта или/и карту индекса для обработки поисковой системой.

Для этого переходим на вкладку «Файлы Sitemap»:

И добавляем URL всех карт сайта для обработки:

Если файл не имеет проблем и проходит валидацию, вы увидите статус «Успешно» и количество страниц, которые содержит файл.

Подведем итоги

Если вы планируете выполнить качественную SEO-оптимизацию своего сайта для хорошего ранжирования в поиске, то мы рекомендуем настроить автоматическую генерацию файлов Sitemap именно в формате XML. Таким образом, поисковая система всегда будет знать обо всех обновлениях и изменениях в количестве страниц и их наполнении. Особенно это актуально для поисковиков с инкрементными апдейтами выдачи.

Сергей Иванченко

CEO

Страница автора

Павел Власюк

CMO

Страница автора