Перейти до вмісту
GetProfit
Увійти

← Усі терміни

Googlebot

Googlebot — загальна назва краулерів Google Search, програм, які завантажують сторінки сайту, щоб Google міг розглянути їх для свого індексу.

Як працює

У Googlebot два типи: Smartphone і Desktop. Більшість запитів надходить від смартфонного краулера, бо для більшості сайтів Google індексує переважно мобільну версію. Нові адреси Googlebot знаходить здебільшого за посиланнями на сторінках, які вже просканував.

Магазин відвідують і інші краулери Google. Storebot-Google сканує сторінки товарів, кошика й оформлення замовлення, щоб зібрати дані про ціну, доставку й оплату для Google Shopping. AdsBot перевіряє цільові сторінки оголошень. Google-InspectionTool завантажує сторінки для «URL Inspection» у Google Search Console.

User agent — назву краулера в кожному запиті — легко підробити, тому власна перевірка Google спирається на IP. Зворотний DNS-запит має повернути назву в домені googlebot.com, google.com або googleusercontent.com. Прямий DNS-запит за цією назвою має повернути ту саму IP-адресу. Підходять і опубліковані Google списки IP.

Якщо захист від ботів відповідає справжньому краулеру кодом 403, Google вважає сторінку відсутньою й видаляє її з індексу. Коди 429 або 5xx сповільнюють сканування; проіндексовані сторінки ще якийсь час залишаються, але зрештою випадають. У нашому посібнику показано, як перевірити Googlebot за захистом від ботів на CDN.

Приклад

Приклад на вигаданому магазині, числа не клієнтські.

У журналі CDN магазину посуду є два запити з user agent Googlebot. Для 66.249.66.1 зворотний DNS-запит дає crawl-66-249-66-1.googlebot.com, що веде назад на ту саму IP-адресу: це Googlebot. Друга IP-адреса розпізнається як домен хостинг-компанії: самозванець, якого можна безпечно блокувати.

Не плутати з

  • Індексація — Googlebot завантажує сторінки, а індексація вирішує, чи збереже їх Google. Блокування краулера в robots.txt не прибирає адресу з видачі.

Правильно й неправильно

  • Неправильно: «Ми надіслали запит із user agent Googlebot, отримали 403, отже CDN блокує Google». Правильно: запит зі своєї IP показує, як захист ставиться до самозванця, а не до Googlebot.
  • Неправильно: «У robots.txt Googlebot дозволено, отже краулер Google Shopping зайде». Правильно: у Storebot-Google в robots.txt власна назва user agent, і правила, написані для Googlebot, на нього не діють.

Джерела