Карта сайта – что, как, зачем. Полное руководство по Sitemap

Всем привет! Сегодня всех читателей нашего блога ждет знакомство с картой сайта (англ. Sitemap). Материал изложен максимально просто и понятно, поэтому разобраться сможет даже новичок.

Мы детально рассмотрим все, что касается этого документа, а именно:

• Что собой представляет карта сайта и когда она может понадобиться?
• Преимущества карты сайт
• Какие Sitemap бывают?
• Как сгенерировать Sitemap?
• Этапы создания карты сайта.
• Валидация XML Sitemap.

На просторах интернета существует немало сайтов, которые содержат страницы с глубоким уровнем вложенности, до которых посетителям и роботам-краулерам добраться бывает непросто. Чтобы облегчить им эту задачу и ускорить индексацию, создаются Sitemap.

Что такое карта сайта и зачем она нужна?

Карта сайта – это документ, который содержит структурированный список всех страниц. Для каждого ли ресурса нужно создавать Sitemap? Нет.

Без карты сайта не обойтись, если:

• Ресурс содержит более 10 000 URL и обладает сложной структурой.
• На сайте есть изолированные страницы без входящих ссылок (лучше не допускать подобной ситуации, так как из-за нее ссылочный вес может распределяться неправильно внутри веб-ресурса).

Для небольших веб-проектов с логически проработанной структурой, где к любой странице можно добраться в 3-4 клика, карта сайта не имеет критической важности.

3 плюса в пользу Sitemap

Преимущества использования карты сайта:

1. Улучшает индексацию новых страниц за счет того, что:

• показывает структуру ресурса поисковым ботам, тем самым упрощает им краулинг;
• показывает поисковым роботам, какие из страниц были изменены с момента последнего посещения веб-ресурса (для этого используется If-Modified-Since).

2. Повышает уровень доверия ботов.
3. Помогает пользователям ориентироваться (в данном случае речь об HTML-карте).

В теории поисковые боты сами сканируют все страницы и добавляют их в индекс, однако на практике все оказывается не так гладко, потому мы настоятельно рекомендуем всем владельцам крупных веб-ресурсов задуматься о создании XML-карты сайта.

Какие карты сайта бывают?

В основном выделяют два вида Sitemap:

• HTML Sitemap. Это файл в формате HTML, который содержит ссылки на все значимые для продвижения страницы ресурса. Имеет древовидную структуру и рассчитан на посетителей. Публикуется на сайте, как и любая другая страница. Всего в HTML-карте должно содержаться не более 3000 ссылок.

Пример:

• XML Sitemap. Это специальный формат, который хранится в корневой директории. В одном файле может содержаться до 49 999 ссылок, а его вес не может быть тяжелее 50 МБ. Если сайт содержит 50 тысяч страниц и более, создается несколько XML-карт. Задача XML Sitemap – указать поисковикам адреса страниц, которые нужно добавить в индекс.

Также существуют Sitemap для изображений и видео, которые содержат соответствующие типы файлов. Но используются Sitemap такого формата крайне редко, так как не имеют значительной важности для оптимизации. Поэтому в данном посте я фокусируюсь на картах вида HTML и XML.

Как сгенерировать Sitemap?

Карту сайта можно создать тремя способами:

№1 ВРУЧНУЮ

Метод подходит для небольших сайтов, где обновления происходят нечасто. Для XML Sitemap нужно создать файл .xml или .txt формата. Затем поместить его в корневую директорию и с помощью редакторов кода прописать кодировку.

Пример минимальной карты сайты с обязательными тегами:

<?xml version=»1.0″ encoding=»UTF-8″?>
<urlset >
<url>
<loc>https://example.com/</loc>
</url>
</urlset>

Дополнительную информацию можно указать, применив такие теги, как priority, lastmod, changefreq и пр.

№2 С ПОМОЩЬЮ ПЛАГИНОВ ДЛЯ СMS

Многие системы управления содержат встроенные специальные плагины, позволяющие автоматически создавать и обновлять карты HTML и XML форматов (например, для WordPress есть Google Sitemap Generator для WordPress).

№3 ПРИ ПОМОЩИ ИНСТРУМЕНТОВ, ПРОГРАММ, СЕРВИСОВ

Мы покажем на примере «Генератора Sitemap» в программе Netpeak SpiderNetpeak Spider.

В ней есть специальный инструмент, позволяющий генерировать несколько типов карт:

• XML;
• HTML;
• Image (для изображений);
• TXT (текстовая).

Все карты сайта создаются в одном окне инструмента.

Обратите внимание, что в карте могут содержаться страницы, соответствующие следующим параметрам:

• код ответа 200 OK;
• индексируются поисковыми системами;
• не содержат тег Canonical с ссылкой на другую страницу и Meta Refresh.

Важно отметить, что без соблюдения этих параметров создать Sitemap не получится.

Этапы создания Sitemap

Создание карты сайта происходит в следующем порядке:

1. Запускаем Netpeak Spider.

2. В «Параметрах» выбираем минимальный набор параметров (шаблон «Минимум»).

В основном меню открываем «Настройки» → «Продвинутые» и в открывшемся окне восстанавливаем настройки по умолчанию. Сохраняем настройки.

3. Вводим в адресной строке URL сайта и начинаем сканирование, нажав кнопку «Старт».

4. По завершению сканирования в правом верхнем углу программы нажимаем «Запустить» и выбираем «Генератор Sitemap».

5. Выбираем тип карты и отмечаем его галочкой.

6. Настраиваем параметры.

Для XML Sitemap вы можете настроить следующие опции:

• Дата изменений. Подсказывает роботам, изменилась ли страница с момента последнего обхода и нужно ли повторно краулить ее.
• Частота изменений. Говорит о периодичности изменений контента.
• Приоритет. Рекомендация для ботов касательно того, какие страницы нужно индексировать первоочередно.
• Сжатие в .gz архив (работает для всех типов, кроме HTML). Функция позволяет уменьшить вес созданных файлов и уменьшить нагрузку сервера.
• Удалить все пробелы и отступы между тегами (для уменьшения количества символов и конечного размера файла карты).

Данные настройки позволяют кастомизировать создание карты сайта.

Для HTML Sitemap настраиваются следующие параметры:

• Источник текстовых ссылок. Можно выбрать тег Title, URL, или H1, но с условием, что они были выставлены в параметрах и учтены при сканировании.
• Сегментация. Позволяет сформировать одним файлом либо разделить их по 100 или 1 000 страниц.

Есть также дополнительный контент, что позволяет добавить содержимое Description, чтобы сориентировать о контенте каждой страницы.

7. После того, как все настроили, нажимаем на кнопку «Сгенерировать».

8. Выбираем папку для сохранения файла и затем нажимаем на «OK».

9. Сгенерированную карту копируем и помещаем в корневую папку.

Последний этап. В robots.txt вставляем атрибут «Sitemap» с указанием URL, в котором находится карта.

Валидация XML Sitemap

Для проверки уже существующей карты сайта на ошибки вы можете также воспользоваться Netpeak Spider. В программе предусмотрен специальный инструмент – «Валидатор XML Sitemap».

Чтобы с его помощью осуществить проверку, выполните следующие действия:

• В «Инструментах» нажмите на «Валидатор XML Sitemap».
• В открывшемся окне укажите URL карты и нажмите «Старт» для запуска проверки.

• По окончанию проверки ознакомьтесь с найденными на сайте ошибками (на боковой панели) и списком страниц, на которых они обнаружены.

• Чтобы экспортировать данные для дальнейшей работы, нажмите на «Экспорт» в левом верхнем углу.
• Чтобы перенести список страниц с ошибками в основное окно программы и сканировать в обычном режиме, нажмите кнопку «В таблицу» в правом верхнем углу окна Валидатора Sitemap. После окончания всплывет уведомление о добавлении URL.
• При отсутствии критичных ошибок отправьте ping в поисковые системы, чтобы сообщить об изменениях в XML Sitemap. Для этого нажмите «Отправить ping поисковым системам» и выберите одну из доступных опций.

После успешной отправки вы получите соответствующее уведомление от Google или Bing в окне своего основного браузера.

Также будет немаловажно добавить карту в Google Search Console.

Для этого:

1. На панели инструментов выберите раздел «Сканирование», а затем пункт «Файлы Sitemap».

2. В правом углу нажмите «Тест» и введите URL карты сайта.

После тестирования вы сможете добавить карту сайта. Через несколько дней она будет просканирована поисковыми роботами Google.

Вывод

Карта сайта – значимый и необходимый инструмент для сайтов со сложной структурой. Она облегчает навигацию пользователям и индексацию поисковикам, что благоприятно сказывается на поисковом продвижении сайта.

Создать Sitemap можно вручную, а также с помощью онлайн-сервисов и различных программ. С помощью Netpeak Spider вы можете за короткое время генерировать карты сайта и проверять XML Sitemap на ошибки.

Расскажите о своем опыте создания карты сайта 🙂