Файл robots.txt – це спеціальний індексний файл, призначений для вказівки пошуковим роботам на те, що можна індексувати на сайті, а що не можна. Він потрібен для того, щоб побачити повну кількість сторінок та файлів на сайті. Також за його допомогою добре видно шляхи розташування тих чи інших файлів та наявності сторінок сортувань, фільтрів та сторінок з динамічними параметрами.
Файл robots.txt – це простий текстовий документ, в якому містяться рекомендації для пошукових роботів всіх типів щодо індексування вашого сайту – які сторінки та файли потрібно сканувати та додавати до індексу, а які ні. Зауважте, що саме рекомендації, а не конкретні вказівки.
Редирект (перенаправлення) – це процес автоматичної переадресації користувача з однієї URL-адреси на іншу, що буває корисним при зміні URL-адреси сторінки, перенесення сайту на інший домен, виправлення помилок URL, забезпечення безпеки сайту тощо.
Швидкість завантаження сайту – один із факторів ранжирування. Google воліє, коли швидкість завантаження – від 1,5 до 3 секунд. Якщо сторінка вантажиться довше, то більше половини користувачів залишають її, так і не дочекавшись кінцевого завантаження сторінки.
Лічильники пошукових систем – так званий мінімальний джентльменський набір кожного інтернет-маркетолога, а також будь-якого власника сайту, якому небайдужа статистика відвідуваності ресурсу.