fbpx

Агентство интернет-маркетинга

clock iconВремя чтения 7 мин. | 18.8.2021 |
18 августа, 2021

Что такое краулинговый бюджет и почему это так важно для SEO?

Оптимизаторы часто не уделяют должного внимания такой важной вещи, как краулинговый бюджет. Если продвигается лендинг или небольшой сайт до 10 страниц, то беспокоиться не о чем, но если это крупный онлайн-магазин, тогда рекомендуем наш материал к прочтению. В этой статье разберемся, что такое краулинговый бюджет, почему он важен для сайта и что делать, чтобы  сэкономить  лимит и качественно оптимизировать ресурс.

Краулинговый бюджет: что это и чем отличается от спроса?

Термин «краулинг» пришел к нам из английского языка, где существует в форме «crawling» и с точки зрения SEO обозначает сканирование и индексацию поисковым ботом страниц веб-площадки для дальнейшего ранжирования в выдаче по запросам пользователей. А краулинговый бюджет — это лимит сканирования страниц, который выделяет поисковая система для каждого сайта. То есть, это ограниченное количество контента, индексируемое роботом в определенный временной отрезок. 

Советуем прочесть статью о том, что такое индексация и как ее ускорить.

Термин «краулинг» был введен Google, поэтому когда оптимизаторы говорят о краулинговом бюджете, то в первую очередь имеют в виду деятельность поискового робота – Googlebot.

Поисковик определяет для каждого сайта определенный лимит сканирования. Бюджет зависит от популярности ресурса и доступности сервера для работы бота.

Процесс попадания страниц сайта в индекс поисковой выдачи

Итак, почему так важно SEO-оптимизатору знать краулинговый бюджет сайта? Если поисковой краулер при сканировании не сможет проиндексировать определенные страницы ресурса, то они просто выпадут из индекса. А именно там может содержаться важный контент, который привлечет клиентов на сайт. К тому же, в выдачу могут попасть «мусорные» страницы, не приносящие бизнесу никакого профита.

Посмотреть краулинговый бюджет можно в Google Search Console. Для этого в меню нужно открыть вкладку «Статистика сканирования».

Вкладка «Статистика сканирования»

Вам откроется новая страница с графиками. Нужная информация находится на рисунке под названием «Количество сканированных страниц в день». Именно это число бот может проиндексировать в сутки, то есть краулинговый бюджет сайта. На скрине ниже это 219 страниц.

График, демонстрирующий краулинговый бюджет сайта

Помимо краулингового бюджета, есть еще краулинговый спрос. Это два разных термина. Второй означает, какое количество линков поисковой робот может просканировать в течение суток.

Подробнее о том, почему краулинговый бюджет так важен для сайта, вы можете узнать из интервью одного из аналитиков Google Мартина Сплитта и аккаунт-менеджера поисковика Алексис Сэндерс:

Как использовать информацию о краулинговом бюджете на практике?

Допустим, вы оптимизируете крупный интернет-магазин. На сайте находится много категорий и подкатегорий продуктов, большое количество фильтров для удобства поиска. Важно, чтобы в индекс попадали страницы с высокомаржинальными товарами, которые приносят основную прибыль компании. Иначе бизнес теряет клиентов, а с ними и доход.

Рекомендуем прочесть полезную статью о том, какие обратные ссылки игнорирует Google. Это поможет качественней продвигать ваш интернет-магазин в поисковике.

При оптимизации подобных проектов SEO-специалисты часто сталкиваются с двумя ошибками индексации контента:

  1. В поисковой выдаче находятся «мусорные» страницы, которые не приносят пользы, а то и вовсе негативно влияют на ранжирование сайта.
  2. Расход краулингового бюджета на неприоритетный контент.

Допустим, «движок» ресурса генерирует большое количество «мусорных» ссылок, попадающих в карту сайта (sitemap), а затем и в индекс. Это чревато тем, что бот расходует бюджет без нужного для вас профита. Помимо этого, еще и лимит может сократиться, так как роботы оценивают качество линков.

Либо возможна такая ситуация, когда на сайте установлено много фильтров. За счет этого формируется большое количество различных комбинаций. Чтобы посмотреть, какое число страниц генерируется благодаря этому, возьмем, к примеру, страницу интернет-магазина косметики и парфюмерии «Кремы для лица и тела».

Для просмотра комбинаций составляется таблица с названиями категорий и фильтров, как на примере ниже:

Таблица с названиями категорий и фильтров на сайте

На скрине видно, что только одна страница категорий продукта генерирует большее количество дополнительных комбинаций фильтров. А это все — неэффективный контент, который может в любую секунду попасть в индекс вместо содержимого, которое принесет бизнесу необходимую пользу. Поэтому важно знать краулинговый бюджет сайта, чтобы не допустить подобной ситуации и увеличить эффективность сканирования ботов Гугла.

Как оптимизировать фильтры, чтобы увеличить краулинговый бюджет?

Конечно, тщательная проработка фильтров потребует усилий и временных затрат со стороны оптимизатора, но эта работа того стоит. Итак, в каких случаях оставляем их открытыми:

  • когда выбран только один фильтр из всего блока;
  • если фильтры выбраны по одному варианту из пары разных блоков.

В каких случаях комбинации фильтров необходимо закрывать от индексации поисковыми ботами:

  • когда выбрано два и больше фильтра из одного блока;
  • если выбрано больше пары фильтров из разных блоков.

Важно не забыть настроить шаблоны для мета-тегов для каждой страницы фильтрации на сайте.

Описанная выше первичная оптимизация подойдет, если проект оптимизируется с нуля или только небольшое количество неэффективных комбинаций попали в индекс. В противном случае, нужно более детально поработать с фильтрацией на сайте. Для этого определяются кластеры, которые не приносят должного профита. 

Если речь о небольшом онлайн-магазине, то можно собрать и сразу кластеризировать семантическое ядро. Но для крупного сайта с тысячами страниц можно формировать СЯ годами. Для этого оптимизатор выписывает все фильтры, перемножает их и в итоге получаются частотные комбинации. Если показатели частотности равны нулю, то SEO-специалист убирает ссылку из sitemap и закрывает страницу от индексации. Такой же алгоритм используется, когда частотность есть, но товар на странице отсутствует. 

Подробнее про сбор и кластеризацию семантики читайте в нашей другой статье.

Управляем краулинговым бюджетом: полная инструкция для SEO-оптимизаторов

Краулинговым бюджетом можно и нужно управлять. Итак, предлагаем шаги, которые необходимо сделать, чтобы в индексе появлялись только эффективные для продвижения сайта страницы:

1. Настраиваем sitemap и robots.txt

В этих документах содержатся инструкции для поисковых ботов, как сканировать и индексировать содержимое сайта. Поэтому в robots.txt необходимо закрыть контент, который не приносит пользы и мешает положительному ранжированию. Из карты сайта необходимо удалить ссылки с редиректами, canonical. 

Также нужно указывать last-modified в sitemap. Это исключает двойное сканирование контента, который не менялся с тех пор, как поисковой бот сканировал страницу в последний раз. Робот в таком случае переключится на обновленные данные, которые необходимо отправить в индекс поисковика.

Подробнее о работе с sitemap читайте в нашем блоге.

2. Следите за скоростью загрузки сайта

После последнего апгрейда Гугла скорость загрузки страниц — один из важнейших факторов ранжирования. При хороших показателях увеличивается и продуктивность поискового краулера на сайте. То есть за одинаковое количество соединений бот сможет просканировать больше контента, чем если страница будет притормаживать.

Для увеличения скорости нужно использовать кэширование, сжать изображения на сайте и проверить хостинг.

3. Пересмотрите цепочки индексации: они не должны быть слишком длинными

Когда поисковой бот переходит по ссылкам индексации, то он может просто не добраться до приоритетного линка. Поэтому пересмотрите цепочку. Каждое перенаправление — это минус в краулинговый бюджет. Еще раз проверьте все редиректы: нужны ли они, удобны ли для пользователей или лучше обойтись без них.

В идеале стоит избавиться от всех перенаправлений даже с точки зрения пользовательского опыта. Но иногда без редиректов не обойтись.

4. Используйте динамический рендеринг

Это технология, которая используется для ускорения сканирования и индексации контента JavaScript- страниц. Метод позволяет предоставить краулеру поисковика версию с html-кодом, а пользователь при этом видит обычный вариант страницы.

Дело в том, что боты Гугла не всегда могут быстро и положительно обработать содержимое на странице JavaSсript. Поэтому желательно все же использовать динамический рендеринг. В этом случае сервер будет определять поискового робота. При этом бот передаст запрос рендереру, а пользователь увидит обычную версию страницы. 

Рендеринг устанавливается на определенных ссылках либо, при необходимости, — на всех. Боты при этом не будут тратить ресурсы на сканирование и индексацию, а сразу получат HTML-версию страницы.

5. Оптимизируйте пагинацию на сайте

Страницы пагинации тоже забирают львиную часть краулингового бюджета. Посмотрите, какой контент продолжает сканировать бот даже при наличии тега noindex. Это можно сделать при помощи инструмента Search Console.

Как правильно закрывать страницы от индексации?

Итак, есть несколько вариантов, как закрыть страницы от сканирования и сэкономить краулинговый бюджет:

1. Тег nofollow

Это самый распространенный способ. Но и тут есть парочка нюансов. Один из сотрудников Гугл, Гэри Илш, рассказал, что любой сканируемый ботом линк повлияет на краулинговый лимит. Даже если оптимизатор укажет директиву, запрещающую сканирование.

То есть, наличие тега nofollow — это не 100% гарантия экономии краулингового бюджета, хотя метод и убережет от индексации «мусорного» контента.

Статья в тему о том, что такое тег nofollow.

2. Post Get Redirect

Подробнее об этом методе можно прочесть здесь. Но если коротко, то цепочка действий выглядит следующим образом:

  • Post — передается линк на сервер;
  • Redirect — браузер запрашивает ссылку от коннектора; 
  • Get — система получает информацию о новой странице сайта. 

Такие запросы необходимы, чтобы отправить форму на сервер. Но при этом поисковые краулеры сами не переходят по ним и не запрашивают данные. Это помогает лучше оптимизировать все ссылки сайта, при этом сделав их недоступными для поисковых систем.

Главный плюс — не тратится краулинговый бюджет. При этом неэффективные URL-адреса будут закрыты от индексации на 100%.
Но есть и минус: переход по таким линкам будет более медленный.

Краулинговый бюджет очень важен для SEO-оптимизации, если вы занимаетесь продвижением онлайн-магазинов. Это позволит избежать большого количества «мусорных» страниц в индексе. При этом боты будут сканировать только приоритетный контент. Проверять краулинговый бюджет необходимо для каждого проекта отдельно. Обращаем внимание, что лимит может увеличиваться при наличии качественной оптимизации ресурса, что положительно скажется на результатах сканирования поисковыми ботами.

Получить практические навыки написания SEO-статей можно на курсе: «Креативный SEO-копирайтинг»:

курс

Автор статьи

Копирайтер с 5-летним стажем, junior SEO и контент-менеджер. Пишет на темы ORM, HR-брендинг, SEO, copywriting и все, что связано с интернет-маркетингом. Следите за публикациями автора

Показать категории