Всем привет! Сегодня всех читателей нашего блога ждет знакомство с картой сайта (англ. Sitemap). Материал изложен максимально просто и понятно, поэтому разобраться сможет даже новичок.
На просторах интернета существует немало сайтов, которые содержат страницы с глубоким уровнем вложенности, до которых посетителям и роботам-краулерам добраться бывает непросто. Чтобы облегчить им эту задачу и ускорить индексацию, создаются Sitemap.
Что такое карта сайта и зачем она нужна?
Карта сайта – это документ, который содержит структурированный список всех страниц. Для каждого ли ресурса нужно создавать Sitemap? Нет.
Без карты сайта не обойтись, если:
- Ресурс содержит более 10 000 URL и обладает сложной структурой.
- На сайте есть изолированные страницы без входящих ссылок (лучше не допускать подобной ситуации, так как из-за нее ссылочный вес может распределяться неправильно внутри веб-ресурса).
Для небольших веб-проектов с логически проработанной структурой, где к любой странице можно добраться в 3-4 клика, карта сайта не имеет критической важности.
3 плюса в пользу Sitemap
Преимущества использования карты сайта:
1. Улучшает индексацию новых страниц за счет того, что:
- показывает структуру ресурса поисковым ботам, тем самым упрощает им краулинг;
- показывает поисковым роботам, какие из страниц были изменены с момента последнего посещения веб-ресурса (для этого используется If-Modified-Since).
2. Повышает уровень доверия ботов.
3. Помогает пользователям ориентироваться (в данном случае речь об HTML-карте).
В теории поисковые боты сами сканируют все страницы и добавляют их в индекс, однако на практике все оказывается не так гладко, потому мы настоятельно рекомендуем всем владельцам крупных веб-ресурсов задуматься о создании XML-карты сайта.
Какие карты сайта бывают?
В основном выделяют два вида Sitemap:
- HTML Sitemap. Это файл в формате HTML, который содержит ссылки на все значимые для продвижения страницы ресурса. Имеет древовидную структуру и рассчитан на посетителей. Публикуется на сайте, как и любая другая страница. Всего в HTML-карте должно содержаться не более 3000 ссылок.
Пример:
- XML Sitemap. Это специальный формат, который хранится в корневой директории. В одном файле может содержаться до 49 999 ссылок, а его вес не может быть тяжелее 50 МБ. Если сайт содержит 50 тысяч страниц и более, создается несколько XML-карт. Задача XML Sitemap – указать поисковикам адреса страниц, которые нужно добавить в индекс.
Также существуют Sitemap для изображений и видео, которые содержат соответствующие типы файлов. Но используются Sitemap такого формата крайне редко, так как не имеют значительной важности для оптимизации. Поэтому в данном посте я фокусируюсь на картах вида HTML и XML.
Как сгенерировать Sitemap?
Карту сайта можно создать тремя способами:
№1 ВРУЧНУЮ
Метод подходит для небольших сайтов, где обновления происходят нечасто. Для XML Sitemap нужно создать файл .xml или .txt формата. Затем поместить его в корневую директорию и с помощью редакторов кода прописать кодировку.
Пример минимальной карты сайты с обязательными тегами:
<?xml version=»1.0″ encoding=»UTF-8″?>
<urlset >
<url>
<loc>https://example.com/</loc>
</url>
</urlset>
Дополнительную информацию можно указать, применив такие теги, как priority, lastmod, changefreq и пр.
№2 С ПОМОЩЬЮ ПЛАГИНОВ ДЛЯ СMS
Многие системы управления содержат встроенные специальные плагины, позволяющие автоматически создавать и обновлять карты HTML и XML форматов (например, для WordPress есть Google Sitemap Generator для WordPress).
№3 ПРИ ПОМОЩИ ИНСТРУМЕНТОВ, ПРОГРАММ, СЕРВИСОВ
Мы покажем на примере «Генератора Sitemap» в программе Netpeak SpiderNetpeak Spider.
В ней есть специальный инструмент, позволяющий генерировать несколько типов карт:
- XML;
- HTML;
- Image (для изображений);
- TXT (текстовая).
Все карты сайта создаются в одном окне инструмента.
Обратите внимание, что в карте могут содержаться страницы, соответствующие следующим параметрам:
- код ответа 200 OK;
- индексируются поисковыми системами;
- не содержат тег Canonical с ссылкой на другую страницу и Meta Refresh.
Важно отметить, что без соблюдения этих параметров создать Sitemap не получится.
Этапы создания Sitemap
Создание карты сайта происходит в следующем порядке:
1. Запускаем Netpeak Spider.
2. В «Параметрах» выбираем минимальный набор параметров (шаблон «Минимум»).
В основном меню открываем «Настройки» → «Продвинутые» и в открывшемся окне восстанавливаем настройки по умолчанию. Сохраняем настройки.
3. Вводим в адресной строке URL сайта и начинаем сканирование, нажав кнопку «Старт».
4. По завершению сканирования в правом верхнем углу программы нажимаем «Запустить» и выбираем «Генератор Sitemap».
5. Выбираем тип карты и отмечаем его галочкой.
6. Настраиваем параметры.
Для XML Sitemap вы можете настроить следующие опции:
- Дата изменений. Подсказывает роботам, изменилась ли страница с момента последнего обхода и нужно ли повторно краулить ее.
- Частота изменений. Говорит о периодичности изменений контента.
- Приоритет. Рекомендация для ботов касательно того, какие страницы нужно индексировать первоочередно.
- Сжатие в .gz архив (работает для всех типов, кроме HTML). Функция позволяет уменьшить вес созданных файлов и уменьшить нагрузку сервера.
- Удалить все пробелы и отступы между тегами (для уменьшения количества символов и конечного размера файла карты).
Данные настройки позволяют кастомизировать создание карты сайта.
Для HTML Sitemap настраиваются следующие параметры:
- Источник текстовых ссылок. Можно выбрать тег Title, URL, или H1, но с условием, что они были выставлены в параметрах и учтены при сканировании.
- Сегментация. Позволяет сформировать одним файлом либо разделить их по 100 или 1 000 страниц.
Есть также дополнительный контент, что позволяет добавить содержимое Description, чтобы сориентировать о контенте каждой страницы.
7. После того, как все настроили, нажимаем на кнопку «Сгенерировать».
8. Выбираем папку для сохранения файла и затем нажимаем на «OK».
9. Сгенерированную карту копируем и помещаем в корневую папку.
Последний этап. В robots.txt вставляем атрибут «Sitemap» с указанием URL, в котором находится карта.
Валидация XML Sitemap
Для проверки уже существующей карты сайта на ошибки вы можете также воспользоваться Netpeak Spider. В программе предусмотрен специальный инструмент – «Валидатор XML Sitemap».
Чтобы с его помощью осуществить проверку, выполните следующие действия:
- В «Инструментах» нажмите на «Валидатор XML Sitemap».
- В открывшемся окне укажите URL карты и нажмите «Старт» для запуска проверки.
- По окончанию проверки ознакомьтесь с найденными на сайте ошибками (на боковой панели) и списком страниц, на которых они обнаружены.
- Чтобы экспортировать данные для дальнейшей работы, нажмите на «Экспорт» в левом верхнем углу.
- Чтобы перенести список страниц с ошибками в основное окно программы и сканировать в обычном режиме, нажмите кнопку «В таблицу» в правом верхнем углу окна Валидатора Sitemap. После окончания всплывет уведомление о добавлении URL.
- При отсутствии критичных ошибок отправьте ping в поисковые системы, чтобы сообщить об изменениях в XML Sitemap. Для этого нажмите «Отправить ping поисковым системам» и выберите одну из доступных опций.
После успешной отправки вы получите соответствующее уведомление от Google или Bing в окне своего основного браузера.
Также будет немаловажно добавить карту в Google Search Console.
Для этого:
1. На панели инструментов выберите раздел «Сканирование», а затем пункт «Файлы Sitemap».
2. В правом углу нажмите «Тест» и введите URL карты сайта.
После тестирования вы сможете добавить карту сайта. Через несколько дней она будет просканирована поисковыми роботами Google.
Вывод
Карта сайта – значимый и необходимый инструмент для сайтов со сложной структурой. Она облегчает навигацию пользователям и индексацию поисковикам, что благоприятно сказывается на поисковом продвижении сайта.
Создать Sitemap можно вручную, а также с помощью онлайн-сервисов и различных программ. С помощью Netpeak Spider вы можете за короткое время генерировать карты сайта и проверять XML Sitemap на ошибки.
Расскажите о своем опыте создания карты сайта 🙂
Получить практические навыки написания SEO-статей можно на курсе: «Креативный SEO-копирайтинг»:
