ОБУЧАЮЩИЙ МАТЕРИАЛ
ФИШКИ И СЕКРЕТЫ ИНТЕРНЕТ-МАРКЕТИНГА
БОНУСЫ: ЧЕК-ЛИСТЫ, БРИФЫ, ТЗ
База знаний, наш опыт и новости
Читай наш блог и подписывайся на страницу в Facebook и Instagram,
чтобы не пропустить новый материал

Тег Noindex и атрибут Nofollow. Что стоит знать для успешной оптимизации сайта?

25.02.2019
SEO-продвижение сайта
Автор: Светлана Марусиченко
1399
1+
Тег Noindex и атрибут Nofollow

Манипуляция ссылками на сайте помогает правильно распределять вес и координировать индексацию. Бывает, что в процессе оптимизации необходимо скрыть от поисковой системы некоторые внешние ссылки или как-то запретить боту переходы по ним. Это помогло бы направить внимание поисковика на более важные ссылки, а второстепенные или сомнительные исключить из индекса. Похожая ситуация и с контентом, когда нужно закрыть от системы отдельные фрагменты текста или целые страницы.  

Для решения таких задач используют тег Noindex и атрибут Nofollow. Эта статья – подробная инструкция по работе с ними. Дочитав ее до конца, вы узнаете:

  1. Что такое тег Noindex и атрибут Nofollow?
  2. Правила использования тегов при оптимизации сайта
  1. Реакция поисковиков на запрещающие теги
  2. Как проанализировать наличие тегов Noindex и Nofollow на странице?

Главная цель, для которой используются Noindex и Nofollow – возможность скрыть контент или ссылку, за которые мы не можем поручиться. А вот как это сделать, читаем далее.

Прочитайте также: Индексация сайта: 7 способов быстрой проверки и ускорения

Что такое тег Noindex и атрибут Nofollow?

Тег Noindex – разработка Яндекса. Он не входит в официальный перечень HTML-разметки, и распознается только поисковыми ботами разработчика да системой Рамблер. Google игнорирует все запреты, выставленные этим тегом.

Alt = Информация от Яндекса про тег Noindex

Изначально тег использовался для «отсеивания» информации, не несущей смысловой нагрузки. Например, служебных файлов.

Но вскоре вебмастера нашли для него и другие назначения, а конкретно, скрытие от индексации:

  • кодов различных счетчиков (liveinternet, счетчики ИКС и PR, другое);
  • часто меняющегося текста;
  • «сквозных» блоков, информация в которых дублируется на страницах;
  • копипаста, то есть ворованного контента;
  • форм рассылок и подписок;
  • отзывов, комментариев, особенно если они содержат нецензурную или некорректную лексику.

Для скрытия ссылок (внутренних, внешних, а также, если ссылки есть в комментариях для блога), картинок и рекламы Noindex не подходит. В таком случае используют атрибут Nofollow. Его главное назначение – не передать вес ссылки с вашего сайта на ссылающийся. Но нюанс в том, что тег все равно этот вес не сохранит, он его просто сжигает.

Alt = Информация из Википедии про атрибут rel="nofollow"

Атрибут уместно использовать в 3-х случаях:

  1. Контент сомнительного качества. Если не можете поручиться за содержание страниц, на которые ведут ссылки с вашего сайта, лучше сразу закрыть их Nofollow. Это поможет не связывать себя с недобросовестными пользователями Сети, а также уберечься от спама. Спамеры увидят, что вы закрываете все странные ссылки и у них отпадет желание «атаковать» ваш сайт.
  2. Платные ссылки. Чтобы не влиять на результаты поиска, Гугл советует закрывать такие ссылки атрибутом Nofollow. В частности, его поисковые боты требуют автоматического доступа к платным ссылкам, чтобы отличать обычный материал от коммерческого.
  3. Коррекция индексирования. С помощью Nofollow можно настраивать приоритетность сканирования страниц сайта ботами. Например, роботы не занимаются регистрацией и не входят в аккаунты, а значит атрибут можно спокойно устанавливать на ссылках «Регистрация», «Контакты», «Вход». При этом оставлять открытыми ссылки, которые вы бы хотели видеть в индексе.

При внутренней перелинковке атрибут не используется.

Подробнее о том, как прописать теги, читайте в следующем разделе.

Правила использования тегов при оптимизации сайта

О том, как применять Noindex и Nofollow написано множество статей в Интернете. Но не смотря на обилие материала, новоиспеченные вебмастера иногда практикуют массовое закрытие ссылок или неуникального контента. Таким образом они надеятся сохранить вес страниц и выглядеть лучше «в глазах» поисковой системы.

Чтобы написать этот материал, я проанализировала более 20 сайтов по теме, мнение экспертов и создала подсказку для вебмастера. Мануал поможет не наделать ошибок при использовании тегов.

Как скрыть контент тегом Noindex?

Начнем по порядку. Что значит, когда вебмастера говорят: «Запрещен к индексированию тегом Noindex?» Речь идет о том, что от поисковой системы спрятаны отдельные участки текста. На практике это сделать просто. Нужно в коде страницы прописать:

Alt = Тег Noindex для запрета индексации контента

Напомню, что такой запрет будет актуален только для 2-х поисковиков, то есть, их роботы попросту не заметят текст, «укрытый» под тегом. При этом он попадет в индекс остальных систем.

Учтите, что используя такую конструкцию для скрытия отдельных участков текста на своем сайте, можно вызвать ошибки валидации. Причина – тег отсутствует в общепринятом стандарте и некоторые HTML-редакторы просто отказываются его воспринимать. Например, WordPress вообще удаляет тег из кода.

Но решение проблемы есть. Прописав тег, как показано на картинке ниже, получится избежать проблем валидации, даже на WordPress:

Alt = Тег Noindex без ошибок валидации сайта

Сам разработчик тега Noindex предостерегает, что частое применение кода может быть расценено, как «серая» оптимизация. Например, когда вебмастера прячут от робота неуникальный контент, предлагая взамен тексты, перенасыщенные ключами.

Яндекс пытается активно бороться с такими «недобросовестными» сайтами и даже разработал для этого метод. Он все равно проводит анализ скрытого текста, индексирует его, а потом отфильтровывает из выдачи содержимое с тегом. Но, если во время анализа бот поисковика решит, что сайт применяет тег для неправомерного влияния на результаты выдачи, он наложит санкции.

Атрибут Nofollow для закрытия ссылок и рекламы

Теперь поговорим о Nofollow. В коде страниц он используется с атрибутом «rel=». Тег входит в стандартную классификацию HTML-кода и распознается абсолютно всеми поисковыми системами.

Код с Nofollow прописывается так:

Конструкция атрибута Nofollow

Посмотрите, как выглядит директива в «админке» сайта. На странице для пользователей ссылка смотрится стандартно и остается кликабельной.   

Alt = Конструкция ссылки с тегом Nofollow

Увлекаться атрибутом rel=»nofollow» также не стоит. Постоянно закрывая им ссылки, можно самому попасть под «немилость» поисковиков. Они просто потеряют уровень доверия к вашей площадке.

Мета-тег «mate name» с Noindex и Nofollow

Кроме самостоятельного использования, тег Noindex и атрибут Nofollow применяются также в составе мета-тег роботс. Главная разница в том, что мета-тег прописывается в начале страницы и запрещает индексацию всей информации, расположенной на этой странице, включая внешние ссылки.  Устанавливается meta noindex, nofollow в секцию <head> на той странице, которую нужно закрыть.

Прописать код можно вручную или использовать SEO- плагины. Пример для тех, чей сайт работает на базе WordPress:

Плагин Yoast SEO для прописания мета-тег robots

Есть несколько вариантов написания конструкции с мета-тегами robots. В зависимости от желаемого результата, код может иметь следующий вид:

<meta name=»robots» content=»noindex, follow» />                                                                                                                    

 

Используется, если закрыть от индексации нужно все содержимое страниц, кроме ссылок.

<meta name=»robots» content=»noindex» /> 

 

В таком случае поисковой системе запрещается индексировать страницу, но просматривать ее и переходить по ссылкам можно.

<meta name=»robots» content=»index, nofollow» />

 

Поисковикам разрешается только индексирование, без перехода по ссылкам.

<meta name=»robots» content=»nofollow» />

 

Выполняет аналогичную с предыдущей комбинацией функцию.

<meta name=»robots» content=»noindex, nofollow» /> 

 

Закрывается полностью все: индексация, и переходы по ссылкам.

 

Если вы хотите скрыть страницу только от Гугла, стоит указать в коде название Googlebot – основного поисковика системы. Примеры кодов для разных случаев можно посмотреть в справке Google. В формате статьи я покажу только конструкцию для запрета страницы от индексации:

Закрытия ссылки для ботов Гугл

Аналогично и с Яндексом. Только указывается вместо бота Гугл поисковик нужной системы. Подробно об этом написано в Яндекс Помощь.

Кстати, запретить индексацию страницы можно и без прописывания директивы мета-тег с noindex/nofollow. Сделать это поможет robots.txt с помощью Disallow. Правда, такой метод менее эффективный. Поисковые системы воспринимают robots.txt не как «указ», а просто в качестве рекомендации. То есть, если в txt разрешено индексировать страницу, а мета-тег запрещает это делать, то поисковая система будет слушаться директивы последнего.

В общем, для непроиндексированных страниц можно использовать любой вариант. Но когда хотите исключить из индекса поисковика уже проиндексированный ресурс, лучше прописывать мета-тег.

Возможно, вас также заинтересует: Как разместить и ускорить индексацию статьи: 5 секретов успеха

Самые частые ошибки применения

Директивы простые, область применения их также понятна – если вы специалист. А вот новички часто делают ошибки при использовании тегов. Причем, некоторые могут стать фатальными для сайта.

Рассмотрим примеры, как не нужно использовать Noindex и Nofollow:

  • Для внутренних ссылок. Это препятствует передаче PageRank внутри сайта (касается rel=”nofollow”, ведь Noindex на ссылках и вовсе бесполезный). На подобных нюансах применения атрибута делает акцент и глава Google по борьбе с веб-спамом Мэтт Каттс в своем видео-обучающем тренинге.
  • Для ссылок на страницы фильтра. Реализовать фильтры лучше с помощью JS или закрывать страницы мета-тегом noindex, nofollow.
  • Прописывать одновременно оба тега для одной страницы (не касается мета-тег). Чтобы закрыть ссылку, достаточно атрибута rel=”nofollow”, дополнительной подстраховки не требуется. К тому же, такое обилие запрета может настроить поисковую систему негативно по отношению к вашему сайту.

Кроме этого, не используйте совместно мета-тег robots и robots.txt. Чтобы бот увидел запрещающую директиву на индексацию, страница должна быть открыта в txt.

Статья в тему: Создать Robots.txt – просто, как 2х2

Реакция поисковиков на запрещающие теги

О том, как относится поисковая система Google к использованию атрибута Nofollow, можно узнать от самих представителей компании. Например, из справки Search Console.

Что это такое читайте здесь: Гугл Вебмастрер: настройка. 20 инструментов Search Console

Расскажу вкратце, что написано в этом документе. Тег rel=»nofollow» показывает поисковой системе, что переходить по ссылке не нужно. И, как правило, поисковый бот слушает эту команду, то есть убирает ссылки, закрытые атрибутом, из всей Сети.

Но в каждом правиле есть исключения. Например:

  • ссылки с nofollow будут проиндексированы, если на страницу ссылаются другие сайты, не использующие запрещающий тег;
  • если страница с ссылками есть в карте сайта.

Подробнее про карту сайта читайте здесь: Карта сайта – что, как, зачем. Полное руководство по Sitemap

Как уже говорилось выше, тег Noindex Гугл не воспринимает вовсе. Этот запрет действует только в пределах Рамблер и Яндекса.

Что говорит о rel=»nofollow» система Яндекс? Она полностью солидарна в этом вопросе с Google. То есть, его поисковые боты также не переходят по ссылкам, закрытым этой директивой.

Как проанализировать наличие тегов Noindex и Nofollow на странице?

Помочь проанализировать наличие запрещающего тега Noindex и Nofollow в коде страницы сайта можно с помощью расширения для браузера RDS бар. Скачайте его бесплатно через виртуальный магазин. Чтобы софт корректно показывал скрытые тегами ссылки, необходимо правильно его настроить.

Читайте также: Битые ссылки, как найти и обезвредить

Как это сделать? После того, как расширение установлено:

  • заходим в пункт «Настройки»;
  • в разделе «Подстановка» ставим галочки напротив нужных тегов для подсветки;
  • кнопка «Сохранить».

Вы можете выбрать разный вариант подсветки, например, я поставила «Зачеркнутый текст».

Alt = Настройки софта RDS bar

Когда все настройки выполнены, открываем страницу сайта, которую хотим проверить. В правом верхнем углу экрана активируем значок RDS бар. Смотрим. Все ссылки, закрытые атрибутом Nofollow «как на ладони». Тега Noindex на странице нет.

 Результат проверки через RDS bar

В завершение

Напоследок, хочу оставить несколько советов, которые помогут успешно оптимизировать сайт, с помощью тега Noindex и атрибута Nofollow:

  • Использовать Noindex нужно очень аккуратно. Ведь если у вас на сайте размещен экспертный и уникальный контент, зачем скрывать его от Яндекс и Рамблер? В противном случае, например, когда закрыт копипаст или нецензурные фразы – нужно быть готовым к тому, что поисковая система все равно проанализирует материал. Какой будет реакция поисковика на эти результаты, предугадать сложно.

Статья в тему: Защита контента от воровства: 7 действенных способов

  • Добавляйте в статьи 2-3 ссылки на полезные для своих читателей ресурсы. Это повысит ваш авторитет, как в их глазах, так и перед поисковой системой. Закрывать абсолютно все внешние ссылки атрибутом rel=»nofollow» не рекомендуется, ведь он все равно не сохранит вес, зато может помочь правильно распределить его. Используйте тег на незначительных ссылках, авторитетные же (например, на Википедию), оставляйте открытыми.

А как вы используете тег Noindex и атрибут Nofollow? Нужны ли они сайту? Делитесь своими мыслями в комментариях. Если статья была полезной, обязательно расскажите о ней другим.

Автор: Светлана Марусиченко