Краулінговий бюджет (crawl budget)

Як працює

Краулінговий бюджет визначають дві речі. Ліміт пропускної здатності сканування залежить від сервера: швидкі й стабільні відповіді його підвищують, а сповільнення та помилки сервера знижують. Попит на сканування залежить від того, скільки адрес відомо Google, наскільки вони популярні та як часто змінюються. Дубльовані й непотрібні адреси марнують бюджет, а поширене джерело таких адрес — фасетна навігація: кожна комбінація фільтрів дає нову адресу.

Усі краулери Google, зокрема Googlebot, діляться одним лімітом пропускної здатності. У Google Shopping є власний попит на товари з фіду магазину в Merchant Center. Google зазначає, що високий попит одного краулера може зменшити пропускну здатність для інших.

Краулінговий бюджет може взагалі не бути вашою проблемою. Посібник Google розрахований на сайти з понад 1 мільйоном унікальних сторінок, що змінюються щотижня, понад 10 000, що змінюються щодня, або з багатьма адресами зі статусом «Discovered – currently not indexed». Google називає ці межі приблизними оцінками. Матеріал «Сторінки товарів не в індексі» пояснює, на які сторінки варто витрачати зусилля.

Де це видно

• Search Console → звіт «Crawl Stats»: історія сканування Googlebot і доступність хоста.
• Search Console → звіт «Page indexing»: статус «Discovered – currently not indexed».

Приклад

Приклад на вигаданому магазині, числа не клієнтські.

У магазині посуду 3 000 товарів у 40 категоріях. Кожну категорію можна фільтрувати за 8 кольорами, 5 матеріалами й 4 ціновими діапазонами, і кожна комбінація отримує власну адресу: 40 × 8 × 5 × 4 = 6 400 сторінок фільтрів. Тепер Google може знайти 9 440 адрес замість 3 040, і дві з трьох — це фільтри (6 400 ÷ 9 440 = 68%).

Не плутати з

• Індексація — збереження сторінки для результатів пошуку. Не кожна просканована сторінка потрапляє в індекс.

Правильно й неправильно

• Неправильно: «Нові товари не з’явилися в Google за добу, отже краулінговий бюджет вичерпано». Правильно: Google каже, що більшість сайтів не повинна очікувати сканування в той самий день: перевірка й індексація сторінки зазвичай займають три дні або більше.
• Неправильно: «Поставимо noindex на сторінки фільтрів, щоб заощадити краулінговий бюджет». Правильно: Google усе одно запитує сторінку з noindex, перш ніж прибрати її. Щоб зупинити сканування адрес фільтрів, не потрібних у пошуку, Google радить robots.txt.

Джерела

• Optimize your crawl budget (Google Crawling Infrastructure, англійською) — визначення, пропускна здатність і попит, спільний ліміт, попит Shopping, кому це потрібно, noindex. Перевірено 02.10.2026.
• Troubleshoot Google Search crawling errors (Google Search Central, англійською) — звіт Crawl Stats, три дні або більше. Перевірено 02.10.2026.
• Managing crawling of faceted navigation URLs (Google Crawling Infrastructure, англійською) — комбінації фільтрів, надмірне сканування, robots.txt. Перевірено 02.10.2026.