Mobile-First Indexing – это процесс, во время которого Google использует мобильную версию вашего сайта как основную для индексации и ранжирования. Это означает, что именно мобильный контент становится ключевым для определения релевантности вашего сайта в поисковых запросах.
SEO пагинация – это нумерация страниц на веб-сайте. Обычно она представлена в виде списка номеров или букв. Каждый номер – это ссылка, которая ведет на определенную страницу. Блок с пагинацией обычно размещают в нижней или верхней части сайта.
Для облегчения процедуры переиндексации создан специальный скрипт – Google Index API. И хотя долгое время этот инструмент считался актуальным только для сайтов поиска работы и с наличием прямых трансляций (как утверждал сам Джон Мюллер), но практика показала, что он подходит для всех веб-ресурсов и данных.
Файл robots.txt – это специальный индексный файл, предназначенный для указания поисковым роботам на то, что можно индексировать на сайте, а что нельзя. Он нужен для того, чтобы увидеть полное количество страниц и файлов на сайте. Также с его помощью хорошо видно пути расположения тех или иных файлов и наличия страниц сортировок, фильтров и страниц с динамическими параметрами.
Файл robots.txt – это простой текстовый документ, в котором содержатся рекомендации для поисковых роботов всех типов по индексированию вашего сайта – какие страницы и файлы нужно сканировать и добавлять в индекс, а какие нет. Заметьте, что именно рекомендации, а не конкретные указания.