Індексація сайту: 7 способів швидкої перевірки і прискорення

Стаття оновлена у жовтні 2022 року.

Привіт читачам і гостям блогу «Текстум Вінниця»! Сьогодні подивимося на сайт «очима» пошукових систем і дізнаємося, як перевірити, чи відкритий сайт для індексації. У цьому нам допоможуть сервіси для онлайн-перевірки індексації сайту. Адже кожен SEO-спеціаліст і власник веб-ресурсу бажає знати: скільки сторінок робот-шукач обійшов і додав в свою базу, зробив доступними для пошуку?

У цій статті ми з вами розглянемо основні поняття, плагіни, сервіси, проблеми і прискорення індексування веб-порталу в пошукових системах. Матеріал стане в нагоді, якщо ви хочете дізнатися, як перевірити, чи відкрито сайт для індексації. Також ми розповімо, як з’ясувати, чи є проблеми з додаванням сторінок сайту в пошук. Адже не знаючи цього, неможливо провести ефективну оптимізацію ресурсу. Думаю, ніхто не відмовиться бачити свій портал на лідируючих позиціях в пошуку, а значить потрібно приступати до роботи з ним прямо зараз.

Що таке пошукова індексація сайту?

Звернемося до всезнаючої Вікіпедії:

Тобто у пошукового робота є завдання –— продивитися ресурс, відкритий для індексації, а потім внести в базу інформацію про нього. Якщо все пройшло успішно, весь портал або окремі його сторінки стають доступними для пошуку. Наприклад, користувач забиває в рядок пошуку Google «агентство копірайтингу» і вуаля — перед ним постає список ресурсів, релевантних цьому запиту.

Уявімо ситуацію, що сайт з якоїсь причини закритий від індексації (докладніше про це читайте в наступних розділах статті), що тоді? Навіть, якщо на вашому порталі все в порядку з наявністю експертних текстів, ключових слів, тематичних зображень і відео на сторінках, він може не потрапити в пошукову видачу.

Рекомендуємо вивчити: Як написати експертну статтю? 5 кроків до якісного тексту

На практиці це означає, що вам не вдасться ефективно просувати свій продукт або послугу в інтернеті. Щоб такої неприємності точно не сталося, читаємо далі і дізнаємося, як перевірити, чи відкритий сайт для індексації

Як відкрити сайт для індексації?

Перше, що потрібно — перевірити, чи відкрита індексація сайту в файлі Robots.txt. Можна просто забути відкрити тут сторінки веб-ресурсу. Щоб перевірити, відкрийте файл у браузері, ввівши в рядок пошуку домен/ robots.txt. Якщо індексація сайту дійсно закрита, ви побачите наступний текст: User-agent: * Disallow: /.

Детальніше про цей файл читайте тут: Створити Robots.txt – просто, як 2х2

Раніше можна було користуватися Гугл аддурилкою, але в кінці липня 2018 р. Google заявив, що припиняє підтримку публічного методу відправки URL в пошуковий індекс. Тепер сторінку на сканування та індексацію можна відправити тільки після підтвердження права сайту в панелі інструментів Search Console.

Крім того в вебмайстрів Google можна додати файл sitemap (карта сайту). Це дозволяє пошуковій системі розуміти, які сторінки важливі, і частіше їх сканувати.

Також не забуваємо увімкнути індексацію в системі управління сайтом, наприклад у нас це WordPress (до речі, тут же можна повністю прибрати портал з «очей» пошукових систем). Для цього переходимо в адмінку, вибираємо: параметри → читання → видимість для пошукових систем. Залежно від поставленої мети прибираємо або ставимо тут галочку.

Як перевірити чи відкритий сайт для індексації?

Ви все це вже зробили? Відмінно, можна приступати до «десерту» — аналізу індексації сайту. Це можна зробити як за допомогою встановлених плагінів, так і в онлайн-режимі. Адже за допомогою мега популярних пошукових систем можна не тільки знайти потрібну інформацію в мережі, але й промоніторити свій ресурс. Докладніше про це далі.

Спосіб №1. Перевірка за допомогою Google Search Console

Думаю, веб-майстри і seo-фахівці не з чуток знайомі з таким корисним інструментом, як Google Search Console. Тому почнемо наші дослідження саме з нього.

Перевірка індексації сторінок сайту в Google:

1. Заходимо в Search Console.
2. Вибираємо в панелі інструментів «Індекс Google».
3. Клікаємо на пункт «Статус індексування».

Як приклад візьмемо сайт «Текстум Вінниця» і подивимося, що ж покаже Google Search Console у нас.

Як бачимо, сірим позначаються не проіндексовані сторінки, а зеленим проіндексовані URL. Якщо зелений графік буде йти на спадання — тривожний дзвіночок, значить на порталі не все гаразд з індексацією.

Як перевірити індексацію конкретної сторінки в Google:

У пошуковий рядок Google Search Console вставляємо URL, що цікавить нас, і тиснемо Enter:

2. Немного подождем, пока сервис обработает данные:

3. Коли перевірка закінчиться, ми побачимо результат:

4. Щоб дізнатися більше про індексацію, розгорніть панель. Там ви побачите файли Sitemap, посилання на сторінку та багато іншої інформації:

5. Якщо потрібно просканувати сторінку, тоді натисніть на кнопку «Запросити індексування». Цією дією ви відправите пошукового робота на сторінку:

У звіті про індексацію можна дізнатися статус URL:

• не проіндексовано;
• проіндексовані.

Уся інформація у звіті детально розписана та проілюстрована за допомогою діаграм. Якщо URL не проіндексовано, сервіс вкаже можливу причину несправності та запропонує варіанти її вирішення.

Читайте також: Гугл Вебмайстер: налаштування. 20 інструментів Search Console

Спосіб №2. Вдаємося до допомоги оператора пошукових систем та онлайн-сервісів

Щоб запитати не в ясена, а Гугла про індексацію сайту, можна скористатися операторами пошуку або сервісами в інтернеті. Для їх роботи не потрібно встановлювати жодні плагіни чи утиліти. Адже знадобиться лише пошуковий рядок та знання кількох команд.

Оператор «site»

Чтобы проверить, открыт ли сайт для индексирования, воспользуйтесь оператором «site». Він видасть дані про кількість проіндексованих сторінок.

Нюанс: інформація приблизна, у різних пошукових систем може істотно відрізнятися один від одного.

Для перевірки потрібно ввести в рядку пошуку Yandex або Google: site: адресу ресурсу. В якості піддослідного порталу використовуємо «Текстум Вінниця».

Ось що показав Гугл:

Оператор «info»

Ще один варіант — пошуковий оператор «info». На відміну від «site», він показує чи проіндексована одна конкретна сторінка.

Як бачимо, сторінка відобразилася у результатах пошуку, отже, вона успішно проіндексована пошуковими системами.

Сайт xseo.in

Ще один простий та швидкий спосіб перевірки індексації сайту — зайти на xseo.in. Алгоритм дії такий: заходимо на сайт xseo.in → вставляємо адресу сторінки в полі «Перевірка індексації сайту» → натискаємо «Перевірити».

За допомогою цього сервісу можна перевірити, чи відкритий сайт для індексації, або запустити перевірку окремої сторінки.

Після цих нехитрих маніпуляцій сервіс за лічені секунди видає результат, де вказано кількість проіндексованих сторінок.

Спосіб №4. Використовуємо плагіни

Від ручного способу переходимо до автоматизованого методу.

RDS bar

Швидко перевірити індексацію сайту (сторінок, картинок) нам допоможе плагін RDS bar:

• установлюємо розширення в своєму браузері;
• відкриваємо потрібний сайт і вибираємо сторінку;
• клікаємо на розширення у верхній частині екрану;
• знайомимось з результатами.

Ось як приблизно це буде виглядати.

Які відомості ми отримуємо після перевірки плагіном RDS bar:

• чи проіндексована сторінка в Google та інших пошукових системах;
• інформацію про кількість проіндексованих сторінок;
• кількість картинок на сайті, що потрапили до пошукового індексу Google;
• кількість унікальних внутрішніх та зовнішніх посилань;
• кількість згадувань URL;
• показник валідності верстки та ще багато іншої корисної інформації.

Інструментарій RDS bar розрахований не лише для перевірки індексації веб-сайту. За допомогою плагіна можна зробити повний SEO-аналіз одиничної сторінки чи всього сайту.

SEO-tools

Ще один плагін для SEO-аналізу, який допоможе перевірити індексацію сторінки — SEO-tools. Після його встановлення відкрийте панель «Розширення» у браузері та запустіть програму. Перейдіть на той сайт або сторінку, індексацію якої хочете перевірити, та почніть перевірку:

За лічені секунди ви отримаєте аналіз усієї сторінки. Інформація про індексацію вказана у правому рядку. Ви зможете отримати відомості про кеш сторінок і побачити, в яких пошукових системах індексується URL і картинки з сайту.

Спосіб №4. Сервіси для швидкої перевірки індексації сайту

Більшість подібних інструментів з розширеним функціоналом знаходяться в платному доступі. Але є і приємні бонуси – кілька днів пробних і безкоштовних. Можна протестувати сервіси і зрозуміти, чи потрібні вони вам для подальшої роботи.

Інструменти Netpeak

Для прикладу пропоную розглянути зв’язку Netpeak Spider і Netpeak Checker. Ви можете встановити безкоштовну версію для ознайомлення з програмами. У пробній версії обмежена кількість можливостей. Ви зможете перевірити лише 500 URL без можливості зберігати та копіювати дані.

Подивимося, що нам покаже по «Текстум Вінниця» Netpeak Spider. Багатообіцяючий напис у верхній частині екрану повідомляє, що сервіс пропонує провести комплексний seo-аудит всього сайту.

Після всіх маніпуляцій з установками, перед нами відкриється віконце, куди потрібно ввести URL перевірочної сторінки.

Потім натискаємо на старт і отримуємо відповідь від програми.

Які дані можна взяти з Netpeak Spider:

• кількість просканованих URL;
• індексовані сторінки;
• критичність помилок (висока, середня, низька);
• час відповіді сервера;
• причини неіндексованості та ін.

Далі приступаємо до тестування Netpeak Checker. Після установки бачимо таке віконце.

Перетягуємо в синє поле адресу потрібної нам сторінки, знову натискаємо на старт і через 1–2 секунди отримуємо результат. До речі, дані можна експортувати в Excel, якщо встановити платну версію Netpeak.

Netpeak Checker розповість користувачеві про сторінки на сайті таку інформацію:

• код відповіді сервера;
• час відповіді сервера;
• швидкість завантаження сторінки;
• опис title і description;
• кількість проіндексованих URL;
• тип контенту та інше.

Корисна стаття про роботу в соц мережах: Способи реклами фан-сторінки в Facebook. Як розкрутити свій бізнес паблік?

Кожен показник при наведенні на нього мишкою розповідає, для чого він потрібен, труднощів з розумінням звіту не повинно виникнути. Також в програмах є налаштування для перевірки індексації та інших показників сайту.

Для первинної перевірки та виявлення основних помилок безкоштовної версії цілком може бути достатньо.

Screaming Frog

Ще одна програма, яка допоможе перевірити індексацію — Screaming Frog. Це платний веб-сканер, але спочатку можна встановити безкоштовну версію з обмеженою кількістю функцій.

Як користуватися Screaming Frog:

1. Після встановлення, запустіть програму та вставте адресу сайту у рядок зверху, як зазначено на фото. Клацніть на кнопку Start, щоб почалася перевірка:

2. Коли сканування буде завершено, ви побачите кількість оброблених сторінок, тип контенту, код відповіді сервера та доступність сторінки для індексації пошуковими роботами:

Цей сервіс можна використовувати не тільки для перевірки індексації, але і для повного SEO-айдиту сайту.

Чому веб-ресурс не індексується?

Онлайн-перевірка сайту виявила проблеми на окремих сторінках або портал взагалі закритий від індексації?

Пропоную ознайомитися з поширеними причинами цього:

1. Директива noindex. Якщо код містить цю директиву, сторінка автоматично не буде індексуватися. Щоб це виправити, потрібно видалити директиву noindex з коду.
2. Помилки в Robots.txt. У Robots.txt можна зробити заборону індексації всього сайту випадково, внісши зайвий символ в код. Якщо ви помітили в цьому файлі подібну конструкцію, то потрібно терміново вживати заходів щодо усунення помилок в файлі.
3. Сайт з нуля. Тільки створений ресурс індексується не за годину або день. Процес може затягнутися від 10 днів до місяця. Зазвичай в Google індексування відбувається швидше, ніж в Yandex.
4. Помилки або відсутність sitemap. Карта сайту допоможе правильній індексації ресурсу, тому що направить робота по всім потрібним сторінкам. Sitemap додається в Веб-майстер Google.
5. Помилки на сайті. Про всі проблеми регулярно сповіщає Веб-майстер Google. Вчасно усувайте всі проблеми, які виявив робот-шукач під час обходу.
6. Контент. Проаналізуйте якість його наповнення, якщо на сторінках взагалі немає текстової та візуальної інформації — додайте. Можна написати 2–3 тематичні статті, розмістити на вже проіндексованих сторінках ресурсу і зробити з них посилання на потрібну сторінку, якої ще немає в пошуку.

Також до проблем з індексацією може привести не унікальний контент, дублі сторінок, переадресація URL, проблеми з доступністю сторінок або швидкістю завантаження.

Корисно вивчити: Чек-лист для перевірки тексту на «профпридатність»: унікальність, SEO, ілюстрації

Як прискорити індексацію сайту?

Якщо ви вже повідомили Google і Yandex про новий портал або сторінки на ньому, не зайвим буде простимулювати процес індексації наступним чином:

1. Sitemap. Обов’язково повинна бути в наявності актуальна карта сайту, щоб робот міг, не блукаючи відвідати всі важливі сторінки.
2. Переобхід сторінок. Ми регулярно користуємося цим інструментом в Яндекс Вебмайстрі, розміщуючи наші статті на сайті «Текстум Вінниця». Сюди вводимо адресу сторінки, яку потрібно проіндексувати в пріоритетному порядку.
3. Внутрішня перелінковка. Нові сторінки будуть швидше індексуватися, якщо на них розмістити популярні внутрішні лінки, наприклад, посилання на головну сторінку.
4. Зовнішні посилання. Проставте посилання з інших порталів на ваш ресурс. Важливо, щоб це були проіндексовані, авторитетні сайти з релевантним контентом.
5. Вага сторінки. Намагайтеся максимально «полегшити» свій портал, не варто навантажувати пошукового робота зайвою роботою і змушувати його сканувати непотрібні коди або скрипти. Чим менша вага сторінки, тим швидше пошукова система просканує її зміст і просунеться далі по сайту.
6. Подивитися як Googlebot. Така можливість є в панелі інструментів Search Console. У формі потрібно ввести адресу карти сайту. Доданий файл відобразиться в списку під формою, натискаємо «відправити в індекс». Після цього робот пройдеться по всіх посиланнях з sitemap, прийнявши за вихідну сторінку карту ресурсу.
7. Соціальні мережі. У вашій компанії є сторінка в соц мережах? Чудово, поставте прямі посилання на веб-ресурс в Facebook або Twitter.

Вище на скрині показано, як в агентстві «Текстум Вінниця» робляться анонси до статей в нашому блозі на сторінці в Facebook. До тексту обов’язково додаємо посилання на статтю.

Детальніше про це читайте тут: Створюємо пост в Facebook: 5 безпрограшних трюків

Нововведення в індексації Google 2022

Щоб власники сайтів, маркетологи, сеошники та інші члени продуктової команди тримали руку на пульсі, пошукова система постійно впроваджує нові правила ранжування сторінок. У 2022 році було внесено зміни до MUM — багатозадачної уніфікованої моделі, яку презентували на Google-конференції I/O, що відбулася в Moscone Center у 2021 році. У розробці даного інструменту за основу було взято штучний інтелект, що аналізує контекстну інформацію із сотень різних джерел. Це необхідно, щоб користувачі знаходили максимально вичерпні відповіді навіть на найскладніші питання.

Зараз MUM аналізує інформацію з текстів та картинок, але найближчим часом Google-розробники планують удосконалити модель та «навчити» її аналізувати аудіо та відео контент. Так що вже зараз при публікації відеороликів подбайте про те, щоб це була корисна, зрозуміла та структурована інформація, релевантна запитам користувачів.

Ще одним нововведенням 2022 року стало оновлення Page Experience, необхідного для результатів пошуку на десктопах. З лютого по березень 2022 року Google у тестовому режимі почав враховувати зручність сторінок для користувачів під час ранжування сайту. Цілком логічно, що сайти, які показали найвищий відсоток взаємодії користувачів з web-сторінками, істотно піднялися в пошуковому рейтингу.

При оцінці оновлений алгоритм враховує:

• швидкість завантаження сторінок;
• час очікування до першого відгуку користувачів;
• якість верстки та додаткових елементів;
• якість мобільної версії сайту;
• відсутність проблеми із безпекою сайту;
• відсутність нав’язливої ​​реклами, що відволікає увагу.

Слідкуйте за цими параметрами, регулярно проводьте технічний аудит і тоді ваш сайт стабільно отримуватиме хороший трафік і займатиме лідируючі позиції в пошуковому рейтингу.

Підводимо підсумки

Коротенько нагадаю, що ми сьогодні вивчали:

• Індексація сайту потрібна, щоб портал з’явився в результатах видачі пошукових систем. Якщо ресурсу немає в індексі — значить Google та інші пошукові системи про нього не знають, і не будуть показувати web-ресурс користувачам за запитами.
• Створити інструкції для правильної індексації можна за допомогою Robot.txt. Тут же можна закрити сайт або окремі сторінки від пошукової індексації.
• Перевірку індексації можна робити вручну, скориставшись пошуковими операторами, або ж автоматично — за допомогою плагінів, програм, наприклад, Netpeak Checker або YCCY.
• Не забуваємо про важливість і потрібність sitemap, а також унікального, тематичного контенту на вашому порталі.
• Щоб прискорити індексацію нової сторінки, розмістіть посилання у соцмережах. Також не забувайте про внутрішнє і зовнішнє перелінкування.

Сподіваюся, ви з користю провели час за читанням цієї статті. Поділіться з нами в коментарях, коли ви останній раз перевіряли індексацію свого сайту? Виявили якісь проблеми? Чи допомогло усунення помилок індексації в оптимізації ресурсу? Нам цікава ваша думка. Чекаємо коментарі ☺

Отримати практичні навички написання SEO-статей можна на курсі «Креативний SEO-копірайтинг»: