Краулинговый бюджет

Как работает

Краулинговый бюджет (бюджет сканирования) определяют две вещи. Ограничение скорости сканирования зависит от сервера: быстрые стабильные ответы его повышают, замедления и ошибки сервера — снижают. Потребность в сканировании зависит от того, сколько URL известно Google, насколько они популярны и как часто меняются. Дубли и ненужные URL тратят бюджет впустую, а фасетная навигация — частый источник: каждая комбинация фильтров — это новый URL.

Ограничение скорости сканирования общее для всех краулеров Google, включая Googlebot. У Google Shopping есть собственная потребность в товарах из фида магазина в Merchant Center. Google отмечает, что высокая потребность одного краулера может снижать скорость сканирования для других.

Краулинговый бюджет может вовсе не быть вашей проблемой. Руководство Google написано для сайтов с 1 млн и более уникальных страниц, которые меняются раз в неделю, с 10 000 и более страниц, которые меняются ежедневно, или со множеством URL в статусе «Обнаружена, не проиндексирована» («Discovered – currently not indexed»). Google называет эти числа приблизительными оценками. Страницы товаров не в индексе объясняет, какие страницы стоят усилий.

Где это видно

• Search Console, отчёт «Статистика сканирования»: история сканирования Googlebot и доступность хоста.
• Search Console, отчёт об индексировании страниц: статус «Обнаружена, не проиндексирована».

Пример

Пример на вымышленном магазине, числа не клиентские.

В магазине посуды 3 000 товаров в 40 категориях. Каждую категорию можно отфильтровать по 8 цветам, 5 материалам и 4 ценовым диапазонам, и у каждой комбинации свой URL: 40 × 8 × 5 × 4 = 6 400 страниц фильтров. Теперь Google может найти 9 440 URL вместо 3 040, и две трети из них — фильтры (6 400 ÷ 9 440 = 68%).

Не путать с

• Индексация — сохранение страницы для результатов поиска. Не каждая просканированная страница индексируется.

Верно и неверно

• Неверно: «Новых товаров нет в Google через день, значит, краулинговый бюджет закончился.» Верно: Google говорит, что большинству сайтов не стоит ждать сканирования в тот же день: проверка и индексирование страницы обычно занимают три дня и больше.
• Неверно: «Поставьте noindex на страницы фильтров, чтобы сэкономить краулинговый бюджет.» Верно: Google всё равно запрашивает страницу с noindex, прежде чем исключить её. Чтобы остановить сканирование URL фильтров, не нужных в поиске, Google советует robots.txt.

Источники

• Optimize your crawl budget (Google Crawling Infrastructure, на английском) — определение, скорость и потребность, общее ограничение, потребность Shopping, для кого руководство, noindex. Проверено 02.10.2026.
• Troubleshoot Google Search crawling errors (Google Search Central, на английском) — отчёт «Статистика сканирования», три дня и больше. Проверено 02.10.2026.
• Managing crawling of faceted navigation URLs (Google Crawling Infrastructure, на английском) — комбинации фильтров, избыточное сканирование, robots.txt. Проверено 02.10.2026.