Чому сайт не індексується в Google: 12 причин і як їх виправити

Сайт не індексується в Google найчастіше з трьох груп причин: технічна заборона (тег noindex, блокування в robots.txt, canonical на іншу сторінку), Google не може дістатися до сторінки (помилки сервера, блокування ботів, контент лише в JavaScript) або вважає сторінку дублем чи малоцінною. Точну причину для кожного URL показує звіт «Сторінки» в Google Search Console.

Нижче 12 причин, через які сторінки не потрапляють в індекс, як знайти кожну в Search Console і що з нею робити. Наприкінці покрокова діагностика для конкретної сторінки і способи прискорити індексацію нових.

Як перевірити, чи індексується сайт в Google

Найточніше джерело даних про індексацію дає Google Search Console. Оператор site:ваш-домен.ua у пошуку дає лише приблизну картину і не пояснює причин.

Три перевірки, з яких варто почати:

1. Звіт «Сторінки» (розділ «Індексування»). Показує, скільки URL проіндексовано і з яких причин решта не потрапила в індекс. Клікніть на причину, щоб побачити список сторінок.
2. Перевірка URL (URL Inspection). Вставте адресу у верхній рядок Search Console. Ви побачите, чи є сторінка в Google, коли її сканували, який canonical вказали ви і який обрав Google.
3. Перевірка в реальному часі. Кнопка тестування поточної версії показує, що бачить Googlebot зараз: код відповіді сервера, знімок екрана і HTML після виконання JavaScript.

Назви статусів у статті наводимо так, як вони звучать в англомовному інтерфейсі Search Console: так їх легше знайти в довідці Google.

12 причин, чому сайт не індексується: коротко

Таблиця нижче допоможе швидко зіставити статус у Search Console з причиною. Детальний розбір кожного пункту далі.

Технічні заборони: noindex, robots.txt і canonical

Перші три причини найпростіше виправити і найлегше пропустити. Часто вони залишаються після розробки, коли сайт переносять з тестового сервера на робочий домен.

1. Тег noindex

Метатег robots зі значенням noindex або HTTP-заголовок X-Robots-Tag прямо забороняє Google індексувати сторінку. Типові джерела: галочка в налаштуваннях WordPress, яка просить пошукові системи не індексувати сайт, налаштування SEO-плагіна для певного типу сторінок або шаблон, скопійований з тестової версії.

Перевірте код сторінки на noindex і подивіться звіт зі статусом «Excluded by 'noindex' tag». Якщо там є важливі сторінки, приберіть тег і подайте запит на індексацію.

2. Блокування в robots.txt

Правило Disallow у robots.txt забороняє Googlebot сканувати розділ або весь сайт. Класичний випадок: рядок Disallow: /, що лишився з етапу розробки.

Важливий нюанс: robots.txt забороняє сканування, а не індексацію. Сторінка, на яку є посилання, може потрапити в індекс без вмісту зі статусом «Indexed, though blocked by robots.txt». Якщо ви хочете прибрати сторінку з Google, потрібен noindex, і сторінка має бути відкрита для сканування, інакше Googlebot цей тег не побачить.

Мінімальний коректний robots.txt для невеликого сайту виглядає так:

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /search

Sitemap: https://example.com/sitemap.xml

Перевірити, як Google прочитав ваш файл, можна у звіті robots.txt у налаштуваннях Search Console. Зібрати файл без синтаксичних помилок допоможе генератор robots.txt.

3. Canonical вказує на іншу сторінку

Тег canonical повідомляє Google, яка версія сторінки основна. Якщо через помилку в шаблоні всі сторінки каталогу вказують canonical на головну або на першу сторінку пагінації, Google вважатиме їх альтернативними версіями і не індексуватиме.

Інший варіант: ви вказали canonical правильно, але Google обрав іншу сторінку (статус «Duplicate, Google chose different canonical than user»). Це сигнал, що сторінки надто схожі. Перевірте canonical на ключових URL у нашому інструменті перевірки canonical: на унікальних сторінках він має вказувати сам на себе і бути абсолютним, з https.

Google не може отримати сторінку: сервер, доступ і JavaScript

Наступні три причини повʼязані з тим, що Googlebot приходить на сайт, але отримує помилку, порожню сторінку або відмову в доступі.

4. Помилки сервера і редиректи

Якщо сервер часто віддає помилки 5xx або відповідає надто повільно, Google зменшує частоту сканування. Звіт «Статистика сканування» в налаштуваннях Search Console покаже частку помилок і середній час відповіді.

Редиректи теж ламають індексацію: цикли (A веде на B, B на A), довгі ланцюжки і переадресація на неіснуючі сторінки дають статус «Redirect error». Після переїзду на нову CMS переконайтеся, що кожна стара адреса веде одним 301-редиректом на відповідну нову сторінку.

5. Googlebot заблокований фаєрволом, паролем або геофільтром

Сайт може чудово відкриватися у вас у браузері і бути недоступним для Google. Типові сценарії: на робочому сайті залишився пароль з тестового середовища, захист від ботів у CDN блокує всіх автоматичних відвідувачів, або хостинг обмежує доступ з-за кордону для захисту від DDoS-атак.

Останній випадок важливий для українських сайтів: за даними Google, Googlebot сканує переважно з IP-адрес у США. Якщо закордонний трафік заблоковано, Google отримає 403 або таймаут. Google публікує списки IP-адрес своїх ботів, тож у фаєрволі можна дозволити саме верифікований Googlebot, а не всіх, хто так себе називає.

6. Контент зʼявляється лише після JavaScript

Google вміє виконувати JavaScript, але рендеринг може відбуватися із затримкою, а частина контенту так і не потрапляє в індекс. Ризиковані випадки: текст підвантажується лише після кліку чи прокрутки, посилання зроблені через обробники подій без атрибута href, файли скриптів закриті в robots.txt, помилка в скрипті ламає весь рендеринг.

Перевірка проста: у перевірці URL запустіть тест поточної версії і подивіться знімок екрана та HTML. Якщо там порожньо або немає основного тексту, Google бачить те саме. Надійне рішення для сайтів на React чи Vue — серверний рендеринг або статична генерація сторінок.

Google не знаходить сторінки: сироти, sitemap і новий домен

Google не може проіндексувати сторінку, про яку не знає. Він знаходить нові URL за посиланнями і через файл sitemap.

7. Сторінки-сироти і відсутній sitemap

Сторінка-сирота не має жодного внутрішнього посилання: її створили в адмінці, але не додали в меню, каталог чи блог. Такі сторінки або невідомі Google, або мають статус «Discovered - currently not indexed», тобто знайдені, але відкладені на потім.

Рішення в два кроки. Додайте посилання на сторінку з уже проіндексованих розділів, ідеально з тематично близьких. І переконайтеся, що є актуальний sitemap.xml, доданий у Search Console і вказаний у robots.txt. Для невеликого сайту файл можна зібрати в генераторі sitemap. Один файл sitemap вміщує до 50 000 URL, більші сайти ділять його на кілька файлів.

8. Новий домен

Для нового сайту індексація може тривати від кількох днів до кількох тижнів, і це нормально. У Google ще немає сигналів про домен: посилань, історії, поведінки користувачів.

Що реально пришвидшує процес: підтвердити сайт у Search Console одразу після запуску, додати sitemap, отримати перші згадки з профілю Google Business Profile (як його налаштувати), соцмереж компанії, галузевих каталогів. Купувати сотні посилань на новий домен не варто, це радше шкодить, ніж допомагає.

Google бачить сторінку, але не індексує: дублі, soft 404, якість і санкції

Найскладніша група: Googlebot отримав сторінку, але вирішив не додавати її в індекс. Тут недостатньо поправити один тег, потрібно змінювати сам сайт.

9. Дублі

Дублі виникають через фільтри і параметри в URL, UTM-мітки, доступність сайту одночасно по http і https, з www і без, зі слешем у кінці і без нього, через однакові картки варіантів товару. Google обирає одну версію і відкидає інші зі статусом «Duplicate without user-selected canonical».

Наведіть лад з технічними дублями через 301-редиректи на одну версію домену і коректний canonical. Для змістовних дублів, наприклад однакових описів товарів різних кольорів, обʼєднайте їх в одну картку з вибором варіанта або зробіть описи справді різними.

10. Soft 404

Soft 404 — це сторінка, яка віддає код 200, але виглядає як порожня або як помилка. Приклади: порожня категорія, сторінка пошуку без результатів, картка товару з текстом «немає в наявності» і більше нічого.

Якщо сторінки дійсно не існує, сервер має віддавати код 404 або 410. Якщо товару тимчасово немає, залиште сторінку з повним описом, характеристиками і посиланнями на схожі товари, щоб вона залишалася корисною.

11. Низька якість контенту

Статус «Crawled - currently not indexed» означає, що Google просканував сторінку, але поки не вважає її вартою індексу. Найчастіше це шаблонні сторінки під міста з однаковим текстом, скопійовані з сайту виробника описи, короткі статті без нової інформації.

Google не індексує всі сторінки підряд, і невеликий відсоток таких URL на великому сайті є нормою. Але якщо в цьому статусі опинилися сторінки послуг чи категорій, їх треба посилити: унікальний текст, ціни, приклади, відповіді на питання клієнтів. Слабкі схожі сторінки краще обʼєднати в одну сильну.

12. Санкції і злам сайту

Ручні санкції видно у звіті Manual actions у Search Console: там вказано порушення, наприклад неприродні посилання або спам. Звіт Security issues показує, чи не зламаний сайт. Зламані сайти часто генерують тисячі спамних сторінок, і Google може знизити довіру до всього домену.

Після усунення порушення подайте запит на повторну перевірку прямо зі звіту. Алгоритмічні зниження в Search Console не відображаються, їх видно лише за різким падінням трафіку після оновлень Google.

Покрокова діагностика: що робити, якщо сторінки немає в індексі

Цей алгоритм підходить для конкретного URL, який мав би бути в Google, але його там немає.

1. Вставте URL у перевірку URL в Search Console і подивіться статус та причину.
2. Перевірте, чи дозволено сканування і індексацію: в блоці індексування сторінки є відповідні поля.
3. Порівняйте canonical, вказаний вами, і canonical, обраний Google. Якщо вони різні, шукайте дубль.
4. Запустіть тест поточної версії: код відповіді має бути 200, а на знімку екрана видно основний контент.
5. Перевірте, чи є на сторінку внутрішні посилання і чи вона є в sitemap.
6. Чесно оцініть контент: чи сторінка дає щось, чого немає на вже проіндексованих сторінках вашого сайту і конкурентів.
7. Виправте причину і натисніть «Подати запит на індексування». Робіть це один раз: кількість запитів на день обмежена, а повторні запити не пришвидшують процес.
8. Для масових проблем виправте шаблон і запустіть перевірку виправлення у звіті «Сторінки».

Якщо таких сторінок десятки і причина не очевидна, пройдіть повний чек-лист SEO-аудиту: часто проблема з індексацією є симптомом ширших технічних помилок. Технічний аудит з виправленням помилок індексації входить у перший етап нашого SEO-просування.

Як прискорити індексацію нових сторінок

Гарантовано пришвидшити індексацію неможливо, але можна допомогти Google швидше знайти і оцінити нові сторінки.

• Внутрішні посилання з популярних сторінок. Посилання з головної чи часто оновлюваного розділу працює краще, ніж поява в глибині каталогу.
• Sitemap з коректною датою lastmod. Google враховує lastmod, якщо дата відповідає реальним змінам. Поля priority і changefreq Google ігнорує.
• Запит на індексацію для кількох ключових сторінок через перевірку URL.
• Indexing API не для звичайних сторінок. Google офіційно підтримує його лише для вакансій і трансляцій. Сервіси, які обіцяють «миттєву індексацію» будь-яких сторінок через API, використовують його не за призначенням.
• IndexNow для Bing. Протокол підтримують Bing та деякі інші пошуковики, Google його не використовує. Індекс Bing важливий для Copilot та частини AI-асистентів, про що ми пишемо в гіді як потрапити у відповіді ChatGPT та AI Overviews.

Часті запитання

Скільки часу Google індексує новий сайт?

Зазвичай від кількох днів до кількох тижнів. Швидкість залежить від того, чи доданий сайт у Search Console, чи є sitemap, наскільки швидко працює сервер і чи є на сайт посилання ззовні. Окремі нові сторінки на вже відомому сайті з хорошою перелінковкою часто індексуються за кілька днів.

Що означає статус Crawled - currently not indexed?

Google просканував сторінку, але вирішив поки не додавати її в індекс. Найчастіша причина в тому, що сторінка схожа на інші або не дає достатньо нової цінності. Посильте контент, додайте внутрішні посилання і обʼєднайте схожі слабкі сторінки, після чого подайте запит на індексацію.

Чому сторінка є в sitemap, але не індексується?

Sitemap лише повідомляє Google про існування сторінки, але не гарантує індексації. Якщо сторінка в sitemap не індексується, перевірте її в інструменті перевірки URL: найчастіше причина в noindex, canonical на іншу сторінку, дублюванні або низькій якості контенту. Також переконайтеся, що в sitemap вказана саме та версія адреси, яку сайт віддає з кодом 200.

Як перевірити, чи проіндексована конкретна сторінка?

Найточніше через перевірку URL у Google Search Console: вона покаже, чи є сторінка в Google, коли її сканували і який canonical обрано. Пошук за оператором site: з повною адресою сторінки дає швидку, але не завжди точну відповідь, тому для рішень покладайтеся на Search Console.

Чи допомагає повторний запит на індексацію?

Один запит після виправлення проблеми корисний: він ставить сторінку в чергу на сканування. Повторні запити для того самого URL не пришвидшують процес, а денний ліміт запитів обмежений. Якщо сторінка не індексується після запиту, шукайте причину в її якості чи технічних налаштуваннях.