Нередко, перед владельцем сайта или seo-специалистом стоит вопрос о том сколько же страниц имеет сайт, также иногда мы хотим узнать кол-во страниц на сайте конкурента. И разговор идёт не о количестве страниц сайта индексируемых в той или иной поисковой системой, которые можно проверить набрав в Google или Яндексе «site:[url вашего сайта]». А как проверить общее фактическое количество страниц на сайте, когда нужно учесть даже те страницы, которые заблокированы в robots.txt или просто по каким-то причинам не проиндексированы.
В Google поиске при проверке страниц в индексе лучше пролистать до последней страницы, именно на последней странице будет видно точнее значение, а не примерное.
Тут на помощь приходят специальные инструменты:
- ScreamingFrog
- www.xml-sitemaps.com
- Beam Us Up
Данный Инструмент чрезвычайно полезный. Собирает абсолютно все данные о сайте включая количество страниц (даже страницы заблокированные файлом robots.txt), ошибки сервера и ссылки, перенаправления, внешние и внутренние ссылки и их статус, проблемы с заголовками страниц, метаданные, время отклика страниц, alt текст изображений, дубликаты и т.д.
Бесплатная версия сканирует до 500 URL-адресов, и если на вашем веб-сайте их больше, вам нужно перейти на премиум-версию. А также вам необходимо будет его скачать и установить.
Вообще этот инструмент предназначен для создания карт сайта. Он бесплатно и быстро создает карты сайта для ресурсов с количеством страниц меньше 500, для увеличения количества необходимо купить подписку. Во время генерации карты он обходит абсолютно весь ваш сайт, в итоге вы получаете точное число страниц на вашем сайте. Преимущество этого инструмента в том, что его не нужно скачивать и устанавливать на ваш компьютер.
Бесплатный краулер, позволяет обнаруживать битые ссылки, обнаруживать недостающие заголовки страниц, дублированный контент и выявлять другие проблемы. Одним словом, делает всё тоже что и ScreamingFrog, но менее качественно, но полностью бесплатно.
В этом списке указаны лишь самые популярные и доступные инструменты для выявления точного кол-ва страниц на сайте. На просторах интернета вы можете найти ещё десятки различных платных и бесплатных краулеров, которые помогут справиться с поставленной задачей. Но именно по нашему опыту самым точным, удобным и надёжным инструментом является ScreamingFrog, с ним всегда можно быстро и эффективно провести выгрузку сайта и обнаружить все недостатки – от дублей заголовков до отсутствующих мета описаний на отдельных страницах.
