Що таке карта сайту та три способи, як створити файл sitemap.xml

Перш ніж безпосередньо перейти до змісту статті, необхідно розібратись, що означає термін «Карта сайту», адже в загальному розумінні він має два різних значення. 

Перше – це список всіх сторінок сайту, який зазвичай розміщується на сторінці сайту біля футеру, або має окрему сторінку. Ця карта використовується для полегшення взаємодії користувача з сайтом і відноситься до внутрішньої навігації.

Друге – спеціальний файл, що так само містить інформацію про структуру вашого сайту, але призначений для роботів пошукових систем.

І ось саме про цю карту сайту далі буде йти мова в нашій статті.

Що таке карта сайту

Карта сайту або Sitemap – це файл, за допомогою якого є можливість повідомити пошукові системи, які сторінки і файли слід вважати важливими на сайті, а також надати цінну інформацію про них. Наприклад, коли було останнє оновлення сторінки, наявність зображень або відео, а також перелік всіх альтернативних мовних версій сторінки.

Основні види файлу Sitemap

Існують три основні формати файлу Sitemap:

1. Файл Sitemap у форматі XML – найбільш універсальний та популярний формат карти сайту. Крім повної інформації про кожен URL, його можна розширювати додатковими даними, а більшість систем керування контентом (CMS) генерують його автоматично. Але для великих сайтів формування цих файлів може бути досить складним завданням. Також для сайтів без системи керування контентом його необхідно буде формувати з нуля.        
2. RSS, mRSS и Atom 1.0 – схожі за структурою з XML, але містять менше додаткових даних про ваші файли. Основна перевага – більшість CMS генерують їх автоматично.  
3. Текстовий файл sitemap – звичайний файл з розширенням TXT, що може містити тільки URL HTML-сторінок. Його можна сформувати тільки вручну, а Google отримує відомості про текстовий контент, що необхідно проіндексувати.

Кожен з цих форматів має свої переваги та недоліки, але для Google немає ніякої різниці, який з форматів ви використовуєте на своєму сайті. Тому слід обирати варіант, який найбільше підходить для вашого сайту, та в залежності від гнучкості його налаштувань.

Чи всі сайти мають карту сайту?

За замовчуванням файл sitemap відсутній на сайті, але якщо вебресурс має систему керування контентом, то можна генерувати просту карту за допомогою плагінів. Наприклад, для WordPress плагін Yoast згенерує індекс файлу, що буде містити карти по всім доступним типам сторінок на сайті.

Якщо на новому сайті відсутня CMS, то додати файл карти слід самостійно або за допомогою технічних спеціалістів. 

Як перевірити, чи є на сайті карта сайту

За замовчуванням файл Sitemap знаходиться в кореневій директорії вашого сайту. І найпростіший спосіб – це ввести у рядок пошуку «https://yourdomain.com/sitemap.xml».

До прикладу, візьмемо сайт samsung.com: 

Не завжди файл має назву sitemap.xml. Наприклад, назва може бути sitemap_index.xml. Зазвичай, в таких випадках має бути налаштований редірект на сторінку карти або файлу індексу. Якщо переспрямування не відбувається, і ви бачите сторінку помилки, то або редірект не налаштований, і тоді слід дізнатись коректну назву файлу, або карта сайту відсутня на сайті.

Інший спосіб дізнатись, чи є на сайті Sitemap, – перевірити наявність посилання на карту у файлі robots.txt.

Для цього вводимо в пошуковий рядок «https://yourdomain.com/robots.txt» і перевіряємо, чи є відповідна директива:

У файлі robots.txt можуть бути посилання одразу на декілька карт сайту.

Чи важлива карта сайту для SEO?

Сам по собі файл sitemap.xml не є фактором ранжування Google, тобто прямого впливу на рейтинг вашого ресурсу в пошуку він не має. Таким чином навіть без карти сайту ваш ресурс буде індексуватись, а пошукові системи без проблем будуть сканувати ваш контент.

Але за допомогою Sitemap можна звернути увагу Google на найбільш пріоритетні сторінки або на цілі розділи вашого сайту, які мають потрапити в результати пошуку в першу чергу. Це дозволить не витрачати марно краулінговий бюджет та пришвидшити процес індексації вашого контенту. Для SEO-оптимізації сайту це означає, що ми економимо час та ресурси на залучення користувачів з органічного трафіку. Найкращим варіантом карти для пошукового просування є файл Sitemap з розширенням XML. З його допомогою можна вказати найбільшу кількість інформації про наші сторінки, а також додати відомості про важливі зображення або відео, які також впливають на ранжування сторінки в пошуку.    

Коли потрібен sitemap.xml

Якщо у вас великий сайт. Краулінговий бюджет обмежений, а це означає, що його банально не вистачить на всі сторінки вашого сайту, якщо Googlebot буде сканувати все підряд. Також, якщо на сайт постійно додається велика кількість контенту, то не факт, що на всі нові сторінки є посилання, і пошукові роботи можуть їх просто не помітити.

Якщо у вас новий сайт. Зазвичай новостворені ресурси не мають зовнішніх посилань, і роботи пошукових системи не можуть потрапити на сторінки вашого сайту, що значно уповільнює процес індексації.

Сайт має багато мультимедійного контенту. Якщо на вашому ресурсі багато відео та зображень,то за допомогою sitemap.xml можна надати відомості про них в Google. Ми вказуємо пошуковій системі, що цей контент важливий на нашому сайті, і отримуємо більше шансів на те, що він з’явиться в результатах пошуку.

У вас новинний сайт. Для новинного сайту критично важлива швидкість індексації нових сторінок. Якщо ваш ресурс представлений в Google новинах, то карта сайту надає відомості про оновлення сторінки та допомагає швидше потрапити актуальним новинам в пошук.      

Що входить у sitemap.xml

Синтаксис файлу sitemap.xml складається з атрибутів:

Обов’язкові:

<urlset> – інкапсулює файл і посилається на стандарт протоколу;

<url> – батьківський тег для кожного запису URL;

<loc> – URL-адреса сторінки. Значення обмежене 2048 символами.

Опціональні:

<lastmod> – дата останнього оновлення сторінки;

<changefreq> – як часто планується оновлення сторінки;

<priority> – пріоритет для сканування сторінки відносно інших URL-адрес на вашому сайті. Має бути в діапазоні від 0.0 до 1.0.

В документації Google зазначено, що станом на зараз атрибути <priority> та <changefreq> ігноруються пошуковими роботами, а атрибут <lastmod> береться до уваги тільки в тому випадку, якщо час оновлення в атрибуті співпадає з реальним часом, коли були внесені зміни на сторінці.

Приклад синтаксису файлу sitemap.xml, що містить одну сторінку:

Основні вимоги до файлу sitemap.xml

• файлу sitemap.xml має відповідати протоколу Sitemap;
• значення тегів мають бути екранованим;
• файл має бути в кодуванні UTF-8;
• файл має знаходитись в корені сайту;
• розмір файлу обмежено 50MB, а кількість URL не має перевищувати 50000 сторінок;
• вказані мають бути тільки абсолютні URL (https://yourdomain.com/category/), а не відносні (/category/);
• у файлі слід вказувати тільки канонічні URL.

Індекс карти сайту

У випадку, якщо сторінок занадто багато і один файл не може дотримуватись обмежень, або ви хочете вказати лише конкретні розділи та файли, які пріоритетні для вас, то замість однієї карти, створюються окремі файли Sitemap. Тобто, ми розділяємо файл на окремі менші частини. В цьому випадку наш sitemap.xml буде файлом індексу карти сайту, який буде містити в собі посилання на всі окремі карти сайту.

Приклад індексної карти сайту, якщо у нас є каталог автотоварів з двома підрозділами: покришки та диски, і ми хочемо їх розділити. Тоді на всі сторінки не каталогу (головна, доставка і т.д.) ми створюємо файл sitemap_index.xml, сторінки з розділу покришки ми оформляємо як sitemap_pokrishki.xml, а з дисками – sitemap_diski.xml, і додаємо ці файли до кореневої папки. Створюємо файл з ім’ям sitemap.xml з таким змістом:

Файл Sitemap для зображень

Для зображень можна додати відповідні теги в існуючий файл Sitemap або створити окрему карту. Це корисно, коли необхідно, щоб в пошук швидко потрапили зображення, а не тільки сторінка, наприклад, фото вашого товару. Або коли пошукові роботи не можуть отримати до них прямий доступ через те, що контент розміщений через JavaScript або інші технічні рішення.

Приклад синтаксису файлу Sitemap для зображень:

Карта сайту для відео

Схожий принцип, як і для карти для зображень. Має більшу кількість атрибутів, але в той же час і більшу кількість обмежень, серед яких доступність без необхідності входу в акаунт, доступність до індексації у файлі robots.txt тощо.

Приклад синтаксису файлу Sitemap для відео:

Карта сайту для новин

Файл sitemap.xml також можна розшири спеціальними тегами для статей новин для пришвидшення їх потрапляння в пошук, але для того, щоб краще відслідковувати статистику вашого контенту в Google новинах в Google Search Console рекомендується створювати окремі файли Sitemap для цього типу контенту.

Приклад синтаксису для новин:

Дані про локалізовані версії сторінок

Ще однією перевагою використання Sitemap саме у форматі XML є можливість додати за допомогою дочірнього елементу <xhtml:link rel=”alternate” відомості про всі мовні версії та країни, для яких створено контент за допомогою атрибуту hreflang.

Приклад синтаксису для Sitemap, що містить відомості про іншомовні версії сторінок:

3 основні способи створити файл sitemap.xml для вашого сайту

Спосіб 1: Самостійне створення карти сайту

Цей спосіб може підійти тільки в тому разі, якщо кількість сторінок на сайті не змінюватиметься. Інакше за умови додавання нових сторінок, вони можуть не потрапляти в індекс, і щоразу доведеться додавати їх вручну. А в sitemap.xml доведеться постійно дописувати нові рядки. Тому в більшості випадків ми не користуємось цим методом. Також він категорично не підходить для великих інтернет-магазинів.

Щоб зробити просту карту сайту власними руками, нам потрібно мати 2 речі:

• список всіх сторінок сайту;
• шаблон карти сайту, підготовлений в Google таблиці (завантажити).

Список сторінок сайту можна отримати за допомогою програм вивантаження сайту. Їх на даний момент існує декілька. Це можуть бути:

• NetPeakSpider (платна, пробний період);
• Xenu’s (безкоштовна);
• WebSite Auditor (платна, є безкоштовна версія на обмежену кількість адрес);
• ScreamingFrog (платна) і т.д.

Отримавши список адрес сторінок сайту, ми відкриваємо шаблон для Sitemap або завантажуємо як таблицю Excel.

Далі ми копіюємо список адрес сторінок у стовпчик B. Виділяємо всі заповнені комірки в стовпці А і за чорненький квадратик, який внизу ліворуч, простягаємо до кінця стовпця А.

Так само робимо і зі стовпцями С та D.

Що має вийти:

За допомогою програми «Блокнот» або аналогічного ПЗ створюємо порожній текстовий файл під назвою «sitemap», а розширення змінюємо на “.xml” і відкриваємо його.

На початку файлу вставляємо такі рядки:

<?xml version=”1.0″ encoding=”UTF-8″?>

<urlset xmlns=”http://www.sitemaps.org/schemas/sitemap/0.9″>

Далі ми з шаблонного файлу Excel повністю копіюємо колонку D.

І вставляємо у наш файл карти сайту.

Далі ми вставляємо останній рядок:

</urlset>

Потім ми отриманий файл зберігаємо та додаємо в корінь сайту, де лежить файл robots.txt.

Зробити це можна за допомогою програми WinSCP або TotalComander, просто протягнувши файл у вікно з відкритою кореневою папкою.

Спосіб 2: Автоматична генерація за допомогою сервісів і програм

Даний метод відрізняється від першого лише тим, що не потрібно самому вивантажувати адреси сайту та генерувати файл карти сайту. За вас це зробить програма. Але недолік цього в тому, що він:

• погано працюватиме за умови неправильно сформованого robots.txt;
• постійно потрібно вручну оновлювати карту сайту або додавати url нових сторінок, які були додані на сайт з моменту останньої генерації файлу;
• якщо кількість сторінок на сайті більша за обмеження, тоді функціонал може бути платним.

Даний метод підійде для сайтів з невеликою структурою, яка тривалий час не змінюється.

Одним із найпопулярніших сервісів для створення карти сайту є MySitemapGenerator. У цьому сервісі безкоштовно можна згенерувати файл на 500 сторінок із зазначенням пріоритетів сторінок і датою останніх оновлень.

Заходимо на сайт і вибираємо тарифний план:

Далі вставляємо адресу нашого ресурсу та натискаємо «Старт».

Чекаємо, поки відбувається процес аналізу сайту – поки сторінки переходять краулером. Після цього завантажуємо готовий файл.

Під час збереження задаємо ім’я «sitemap.xml» та зберігаємо файл.

Після цього ми копіюємо файл до кореневої папки сайту (описувалося в 1 способі).

Таких програм насправді дуже багато. І якою з них користуватися, вибирати вам. Всі вони мають схожу логіку роботи, тому розписувати по кожній окремо немає сенсу.

Окрім онлайн генераторів карт сайту, є й програми для ПК з краулерами. Наприклад, у програмі ScreamingFrog є функція генерації карти сайту.

Але принцип роботи у неї такий самий, як і в онлайн-сервісів.

Спосіб 3: Автогенерована карта сайту

Це найбільш оптимальний варіант, на наш погляд. Створюються подібні карти сайту або вбудованим функціоналом адмінки, або програмістами за допомогою php-файлів, які генерують її «на льоту». Якщо у вас стоїть одна з поширених CMS типу: WordPress, Opencart, то вони мають або вбудований функціонал, або можна встановити плагіни, та за умови правильного налаштування вони будуть генерувати досить хороші карти.

Але цю роботу краще не робити, а написати ТЗ для програміста. Воно має бути приблизно наступного змісту:

1. Створити автогенеровану карту сайту з генерацією у файл sitemap.xml, який буде знаходиться в кореневій папці.
2. Налаштувати додавання до неї тільки канонічних сторінок і файлів, які не закрити від індексації, за допомогою тега meta robots “noindex” та файлу robots.txt.
3. Налаштувати тег “lastmod”, який вказує дату останньої зміни сторінки. Дані оновлення сторінки брати з системи керування контентом (CMS).
4. Налаштувати перегенерацію сайту в разі додавання/видалення сторінок, але не рідше 1 разу на місяць.

Також можна налаштовувати генерацію файлу карти сайту за будь-якого звернення до нього. Але якщо кількість сторінок велика, це може суттєво навантажити хостинг, що призведе до того, що сайт буде недоступний певний час. 

Як відправити файл sitemap.xml в Google

Для того, щоб пошукова система швидше отримала дані про вашу карту сайту, можна виконати дві основні дії:

Додавання Sitemap у файл robots.txt

У файл robots.txt, що має знаходитись в корені сайту, в самому кінці необхідно прописати директиву з посиланням на вашу карту або декілька файлів Sitemap.

Додавання в Google Search Console

Якщо ви підтвердили свій ресурс в інструменті Google Search Console, то маєте можливість відправляти карти сайту або/та карту індексу для обробки пошуковою системою.

Для цього переходимо на вкладку «Файли Sitemap»:

Та додаємо URL всіх карт сайту для обробки:

Якщо файл не має проблем та проходить валідацію, ви побачити статус «Успішно» та кількість сторінок, що містить файл.

Підведемо підсумки

Якщо ви плануйте виконати якісну SEO-оптимізацію свого сайту для гарного ранжування в пошуку, то ми рекомендуємо налаштувати автоматичну генерцію файлів Sitemap саме у форматі XML. Таким чином, пошукова система завжди буде знати про всі оновлення та зміни в кількості сторінок та їх наповненні. Особливо це актуально для пошукових систем з інкрементними апдейтами видачі.

Сергій Іванченко

CEO

Сторінка автора

Павло Власюк

CMO

Сторінка автора