Индексация сайта: 7 способов быстрой проверки и ускорения

Статья обновлена в октябре 2022 года.

Привет читателям и гостям блога ООО «Текстум Винница»! Сегодня посмотрим на сайт «глазами» поисковиков и узнаем, как проверить, открыт ли сайт для индексации. В этом нам помогут сервисы для онлайн-проверок индексации сайта. Ведь каждый SEO-специалист и владелец веб-ресурса желает знать: сколько страниц робот-поисковик обошел и добавил в свою базу, сделал доступными для поиска?

В этой статье мы с вами рассмотрим основные понятия, плагины, сервисы, проблемы и ускорение индексирования веб-портала в поисковых системах. Материал пригодится, чтобы узнать, как проверить, открыт ли сайт для индексации. Также мы расскажем, как выяснить, есть ли проблемы с добавлением страниц сайта в поиск. Ведь не зная этого, невозможно провести эффективную оптимизацию ресурса. Думаю, никто не откажется видеть свой портал на лидирующих позициях в поиске, а значит нужно приступать к работе с ним прямо сейчас.

Что такое поисковая индексация сайта?

Обратимся к всезнающей Википедии:

То есть у поискового робота есть задача — просмотреть ресурс, открытый для индексации, а затем занести в базу информацию о нем. Если все прошло успешно, весь портал или отдельные его странички становятся доступными для поиска. Например, пользователь забивает в строке поиска Google «агентство копирайтинга» и вуаля — перед ним предстает список ресурсов, релевантных этому запросу.

Представим ситуацию, что сайт по какой-то причине закрыт от индексации, что тогда? Даже, если на вашем портале все в порядке с наличием экспертных текстов, ключевых слов, тематических изображений и видео на страничках, он может не попасть в поисковую выдачу.

Рекомендуем изучить: Как написать экспертную статью? 

На практике это означает, что вам не удастся эффективно продвигать свой продукт или услугу в интернете. Чтобы такой неприятности точно не произошло, читаем дальше и узнаем, как проверить, открыт ли сайт для индексации.

Как открыть сайт для индексации?

Первое, что нужно — проверить, открывать ли индексацию сайта в файле Robots.txt. Можно попросту забыть открыть здесь страницы веб-ресурса. Для проверки, откройте сам файл в браузере, введя в строку поиска домен/ robots.txt. Если индексация сайта действительно закрыта, то вы увидите следующий текст: User-agent: * Disallow: /.

Подробнее об этом файле читайте здесь: Создать Robots.txt — просто, как 2х2.

Ранее можно было пользоваться Гугл аддурилкой, но в конце июля 2018 г. Google заявил, что прекращает поддержку публичного метода отправки URL в поисковый индекс. Теперь страницу на сканирование и индексацию можно отправить только после подтверждения права сайта в панели инструментов Search Console.

Кроме того, в Вебмастере Google и Яндекс можно добавить файл sitemap.xml (карта сайта), Это позволяет поисковой системе понимать, какие страницы важны, и чаще их сканировать.

Также не забываем включить индексацию в системе управления сайтом, например у нас это WordPress. Для этого переходим в админку, выбираем: параметры → чтение → видимость для поисковых систем. В зависимости от поставленной цели убираем или ставим здесь галочку.

Как проверить открыт ли сайт для индексации?

Вы все это уже сделали? Отлично, можно приступать к «десерту» — анализу индексации сайта. Это можно сделать как при помощи установленных плагинов, так и в онлайн-режиме. Ведь с помощью мега популярных поисковиков можно не только найти нужную информацию в сети, но и промониторить свой ресурс. Подробнее об этом далее.

Способ №1. Проверка с помощью Google Search Console

Думаю, веб-мастера и seo-специалисты не понаслышке знакомы с таким полезным инструментом, как Google Search Console. Поэтому начнем наши исследования именно с него.

Проверка индексации страниц сайта в Google:

1. Заходим в Search Console.
2. Выбираем в панели инструментов «Индекс Google».
3. Кликаем на пункт «Статус индексирования».

В качестве примера возьмем сайт «Текстум Винница» и посмотрим, что же покажет Google Search Console у нас.

Как видим, серым обозначаются не проиндексированные страницы, а зеленым — проиндексированные URL. Если зеленый график будет идти на убывание – тревожный звоночек, значит на портале не все в порядке с индексацией.

Как сделать проверку индексации конкретной страницы в Google:

1. В поисковую строку Google Search Console вставляем интересующий нас URL и жмем Enter:

2. Немного подождем, пока сервис обработает данные:

3. Когда проверка закончится, мы увидим результат:

4. Чтобы узнать больше об индексации, разверните панель. Там вы увидите файлы Sitemap, ссылки на страницу и много другой информации:

5.  Если станицу нужно просканировать, тогда нажмите на кнопку «Запросить индексирование». Этим действием вы отправите поискового робота на страницу:

В отчете об индексации можно узнать статус URL:

• не проиндексирован;
• проиндексированные.

Вся информация в отчете подробно расписана и проиллюстрирована с помощью диаграмм. Если URL не проиндексирован, то сервис укажет возможную причину неполадки и предложит варианты ее решения.

Читайте также: Гугл Вебмастер: настройка. 20 инструментов Search Console.

Способ №2. Прибегаем к помощи оператора поисковых систем и онлайн-сервисов

Чтобы спросить не у ясеня, а Google об индексации сайта, можно воспользоваться операторами поиска или сервисами в интернете. Для их работы не нужно устанавливать никакие плагины или утилиты. Ведь пригодится только поисковая строка и знания нескольких команд.

Оператор «site»

Чтобы проверить, открыт ли сайт для индексирования, воспользуйтесь оператором «site». Он выдаст данные о количестве проиндексированных страничек.

Нюанс: информация приблизительная, у разных поисковиков может существенно отличаться друг от друга.

Для проверки потребуется ввести в строке поиска Google: site: адрес ресурса. В качестве подопытного портала используем «Текстум Винница».

Вот что показал Гугл:

Оператор «info»

Еще один вариант — поисковый оператор «info». В отличие от «site», он показывает проиндексирована ли одна конкретная страница.

Как видим, страница отразилась в результатах поиска, значит, она успешно проиндексирована поисковиками. 

Сайт xseo.in

Еще один простой и быстрый способ проверки индексации сайта — зайти на xseo.in. Алгоритм действия такой: заходим на сайт xseo.in→ вставляем адрес страницы в поле «Проверка индексации сайта»→ нажимаем «Проверить». 

С помощью этого сервиса можно проверить, открыт ли сайт для индексации, или запустить проверку отдельной страницы.

После этих нехитрых манипуляций сервис в считанные секунды выдает результат, где указано количество проиндексированных страниц.

Способ №3. Используем плагины

От ручного способа переходим к автоматизированному методу.  

RDS bar

Быстро проверить индексацию сайта (страниц, картинок) нам поможет плагин RDS bar:

1. Устанавливаем расширения в своем браузере;
2. Открываем нужный сайт и выбираем страницу;
3. Кликаем на расширение вверху экрана;
4. Знакомимся с результатами.

Вот как примерно это будет выглядеть.

Какие сведения мы получаем после проверки плагином RDS bar:

• проиндексирована ли страница в Google и других поисковиках;
• информацию о количестве проиндексированных страничек; 
• количество картинок на сайте, что попали в поисковый индекс Google;
• количество уникальных внутренних и внешних ссылок;
• количество упоминания URL;
• показатель валидности верстки и еще много другой полезной информации.

Инструментарий RDS bar рассчитан не только для проверки индексации сайта. С помощью плагина можно сделать полный SEO-анализ единичной страницы или всего сайта.

SEO-tools

Еще один плагин для SEO-анализа, который поможет проверить индексацию страницы — SEO-tools. После его установки, откройте панель «Расширения» в браузере и запустите программу. Перейдите на тот сайт или страницу, индексацию которой хотите проверить, и начните проверку:

За считанные секунды вы получите анализ всей страницы. Информация об индексации указана в правой строке. Вы сможете получить сведения о кеше страницы и увидеть, в каких поисковых системах индексируется URL и картинки из сайта.

Способ №4. Сервисы для быстрой проверки индексации сайта

Многие подобные инструменты с расширенным функционалом находятся в платном доступе. Но есть и приятные бонусы — несколько дней пробных и бесплатных. Можно протестировать сервисы и понять, нужны ли они вам для дальнейшей работы.

Инструменты Netpeak

Для примера предлагаю рассмотреть связку Netpeak Spider и Netpeak Checker. Вы можете установить бесплатную версию, для ознакомления с программами. В пробной версии  ограниченное количество возможностей. Вы сможете проверить только 500 URL без возможности сохранять и копировать данные.

Посмотрим, что нам покажет по «Текстум Винница» Netpeak Spider. Многообещающая надпись вверху экрана сообщает, что сервис предлагает провести комплексный seo-аудит всего сайта.

После всех манипуляций с установками, перед нами откроется окошко, куда нужно ввести URL проверочной страницы.

Затем кликаем на старт и получаем ответ от программы.

Какие данные можно почерпнуть из Netpeak Spider:

• количество просканированных URL;
• индексируемые и неиндексируемые страницы;
• критичность ошибок (высокая, средняя, низкая);
• время ответа сервера;
• причины неиндексируемости и др.

Далее приступаем к тестированию Netpeak Checker. После установки видим такое окошко.

Перетаскиваем в синее поле адрес нужной нам страницы, опять кликаем на старт и через 1–2 секунды получаем результат. Кстати, данные можно экспортировать в Excel, если установить платную версию Netpeak.

Netpeak Checker расскажет пользователю о страничках на сайте такую информацию:

• код ответа сервера;
• время ответа сервера;
• скорость загрузки страницы;
• описание title и description;
• количество проиндексированных URL;
• тип контента и другое.

Полезная статья о работе в соц сетях: Способы рекламы фан-страницы в Facebook. Как раскрутить свой бизнес паблик?

Каждый показатель при наведении на него мышкой рассказывает, для чего он нужен, трудностей с пониманием отчета не должно возникнуть. Также в программах есть настройки для проверки индексации и других показателей сайта.

Для первичной проверки и выявления основных ошибок на сайте 14 бесплатных дней пользования вполне достаточно. Дальше думайте сами, решайте сами, покупать или нет.

бесплатной версии вполне может быть достаточно.

Screaming Frog 

Еще одна программа, которая поможет проверить индексацию — Screaming Frog. Это платный веб-сканер, но для начала можно установить бесплатную версию с ограниченным количеством функций.

Как пользоваться Screaming Frog:

1. После установки, запустите программу и вставьте адрес сайта в строку сверху, как указанно на фото. Кликните на кнопку Start, чтобы началась проверка:

2. Когда сканирование будет завершено, вы увидите количество обработанных страниц, тип контента, код ответа сервера и доступность страницы для индексации поисковыми роботами:

Этот сервис можно использовать не только для проверки индексации, но и для полного SEO-айдита сайта.

Почему веб-ресурс не индексируется?

Онлайн-проверка сайта выявила проблемы на отдельных страницах или портал вообще закрыт от индексации?

Предлагаю ознакомиться с распространенными причинами этого:

1. Директива noindex. Если в коде находится эта директива, то страница автоматически не будет индексироваться. Чтобы это исправить, нужно удалить директиву noindex из кода.
2. Ошибки в Robots.txt. В Robots.txt можно сделать запрет индексации всего сайта случайно, внеся лишний символ в код. Если вы заметили в этом файле подобную конструкцию, то нужно срочно принимать меры по устранению ошибок в файле.
3. Сайт с нуля. Только созданный ресурс индексируется не за час или день. Процесс может затянуться от 10 дней до месяца. 
4. Ошибки или отсутствие sitemap. Карта сайта поможет правильной индексации ресурса, т.к. направит робота по всем нужным страницам. Sitemap добавляется в Вебмастер Google.
5. Ошибки на сайте. Обо всех проблемах регулярно оповещает Вебмастер Google. Вовремя устраняйте все проблемы, которые обнаружил робот-поисковик во время обхода.
6. Контент. Проанализируйте качество его наполнения, если на страничках вообще нет текстовой и визуальной информации — добавьте. Можно написать 2–3 тематические статьи, разместить на уже проиндексированных страницах ресурса и сделать с них ссылки на нужную страницу, которой еще нет в поиске.

Также к проблемам с индексацией может привести неуникальный контент, дубли страниц, переадресации URL, проблемы с доступность страниц или скоростью загрузки.

Полезно изучить: Чек-лист для проверки текста на «профпригодность»: уникальность, SEO, иллюстрации.

Как ускорить индексацию сайта?

Если вы уже уведомили Google и Yandex о новом портале или страничках на нем, не лишним будет простимулировать процесс индексации следующим образом:

1. Sitemap. Обязательно должна быть в наличии актуальная карта сайта, чтобы робот мог, не блуждая, посетить все важные странички.
2. Переобход страниц. Мы регулярно пользуемся этим инструментом в Вебмастере, размещая наши статьи на сайте Textum. Сюда вводим адрес страницы, которую нужно проиндексировать в приоритетном порядке.
3. Внутрення перелинковка. Новые страницы будут быстрее индексироваться, если на них разместить популярные внутренние линки, например ссылку на главную страницу.
4. Внешние ссылки. Проставьте ссылки с других порталов на ваш ресурс. Важно, чтобы это были проиндексированные, авторитетные сайты с релевантным контентом. 
5. Вес странички. Старайтесь максимально «облегчить» свой портал, не стоит нагружать поисковый робот лишней работой и заставлять его сканировать ненужные коды или скрипты. Чем меньше вес страницы, тем быстрее поисковик просканирует ее содержание и продвинется дальше по сайту.
6. Социальные сети. У вашей компании есть страничка в соц сетях? Отлично, поставьте прямые ссылки на веб-ресурс в Facebook или Twitter.

Выше на скрине показано, как в агентстве «Текстум Винница» делаются анонсы к статьям в нашем блоге на страничке в Facebook. К тексту обязательно добавляем ссылку на статью.

Подробнее об этом читайте здесь: Создаем пост в Facebook: 5 беспроигрышных трюков

Нововведения в индексации Google 2022

Чтобы владельцы сайтов, маркетологи, сеошники и другие члены продуктовой команды держали руку на пульсе, поисковая система постоянно внедряет новые правила ранжирования страниц. В 2022 году были внесены изменения в MUM — многозадачную унифицированную модель, которую презентовали на Google-конференции I/O,  что прошла в Moscone Center в 2021 году. В разработке данного инструмента за основу был взят искусственный интеллект, анализирующий контекстную информацию из сотен различных источников. Это необходимо чтобы пользователи находили максимально исчерпывающие ответы даже на самые сложные вопросы.

Сейчас MUM анализирует информацию из текстов и картинок, но в ближайшее время Google-разработчики планируют усовершенствовать модель и «научить» ее анализировать аудио и видео контент. Так что уже сейчас при публикации видеороликов позаботьтесь о том, чтобы это была полезная, понятная и структурированная информация, релевантная запросам пользователей. 

Еще одним нововведением 2022 года стало обновление Page Experience, необходимого для результатов поиска на десктопах. С февраля по март 2022 года Google в тестовом режиме начал учитывать удобство страниц для пользователей при ранжировании сайта. Вполне логично, что сайты, которые показали самый высокий процент взаимодействия пользователей с web-страницами существенно поднялись в поисковом рейтинге.

При оценке обновленный алгоритм учитывает:

• скорость загрузки страниц;
• время ожидания до первого отклика пользователей;
• качество верстки и дополнительных элементов;
• качество мобильной версии сайта;
• отсутствие проблемы с безопасностью сайта;
• отсутствие навязчивой и отвлекающей внимание рекламы. 

Следите за этими параметрами, регулярно проводите технический аудит и тогда ваш сайт стабильно будет получать хороший трафик и занимать лидирующие позиции в поисковом рейтинге. 

Подводим итоги

Кратенько напомню, что мы сегодня изучали:

• Индексация сайта нужна, чтобы портал появился в результатах выдачи поисковиков. Если ресурса нет в индексе — значить Google и другие поисковые системы о нем не знают, и не будут показывать web-ресурс пользователям по запросам.
• Создать инструкции для правильной индексации можно с помощью Robots.txt. Здесь же можно закрыть сайт или отдельные страницы от поисковой индексации.
• Проверку индексации можно делать вручную, воспользовавшись поисковыми операторами, или же автоматически – с помощью плагинов, программ, например, Netpeak Checker или YCCY.
• Не забываем о важности и нужности sitemap.xml, а также уникального, тематического контента на вашем портале.
• Чтобы ускорить индексацию новой страницы, разместите ее ссылку в соцсетях. Также не забывайте о внутренней и внешней перелинковке.

Надеюсь, вы с пользой провели время за чтением этой статьи. Поделитесь с нами в комментариях, когда вы последний раз проверяли индексацию своего сайта? Выявили ли какие-то проблемы? Помогло ли устранение ошибок индексации в оптимизации ресурса? Нам интересно ваше мнение. Ждем комментарии☺

Получить практические навыки написания SEO-статей можно на курсе: «Креативный SEO-копирайтинг»: