Статистична значущість

Як працює

Навіть дві однаково вдалі версії сторінки зазвичай показують різні коефіцієнти конверсії: замовлення надходять випадково. P-значення показує, як часто однакові версії дали б розрив не менший за ваш. Якщо воно нижче за рівень, визначений заздалегідь, — зазвичай 5% (рівень довіри 95%), — різницю вважають значущою.

Значущість лише каже, що розрив, імовірно, не випадковий, але не каже, наскільки він важливий. Якщо зупинити A/B-тест на першому значущому результаті, хибні переможці з’являються набагато частіше, ніж заявлений рівень, тому розмір вибірки фіксуйте заздалегідь. Що робити, коли трафіку мало, розповідає посібник з A/B-тестування для малих магазинів.

Формула

z = (CR версії B − CR версії A) ÷ √(p × (1 − p) × (1/n версії A + 1/n версії B)); CR — коефіцієнт конверсії, n — кліки, p — об’єднаний коефіцієнт обох версій; за рівня 5% значущою є z за межами ±1,96

Приклад

Приклад на вигаданому магазині, числа не клієнтські.

Магазин посуду ділить 8 000 кліків за місяць між двома макетами. A: 150 замовлень із 4 000 кліків, 3,75%. B: 170 із 4 000, 4,25%, приріст на 13%. Об’єднаний коефіцієнт: 4%. z = 0,005 ÷ √(0,04 × 0,96 × 0,0005) = 1,14, p-значення ≈ 0,25: незначуще. Щоб виявити такий приріст за рівня 5% і потужності 80%, потрібно близько 23 100 кліків на версію: майже півроку трафіку.

Як це читає GetProfit

Замість тесту на значущість стрічка змін порталу оцінює зміну за фіксованими межами протягом 14 днів: спрацювало, якщо ROAS зріс понад 1,2× за конверсій на рівні 0,8× або вище; нашкодило, якщо ROAS упав нижче 0,8× або конверсії — нижче половини; вердикту немає, якщо минуло менше 7 днів або конверсій немає. Для масштабу: за даними GetProfit місячний ROAS магазину зазвичай відхиляється на 16% від власної медіани (медіана за 110 магазинами, у яких є щонайменше 8 місяців даних, червень 2025 — червень 2026).

Правильно й неправильно

• Неправильно: «Значуще на рівні 95%, отже, B кращий з імовірністю 95%.» Правильно: 5% — це частка випадків, коли однакові версії все одно показали б значущий розрив, а не шанс, що виграє B.
• Неправильно: «Незначуще, отже, макет нічого не змінює.» Правильно: у прикладі бракувало трафіку; приріст на 13% може бути реальним.

Джерела

• 7.1.3.1. Critical values and p values (NIST/SEMATECH e-Handbook of Statistical Methods, англійською) — рівень значущості, заданий заздалегідь. Перевірено 02.10.2026.
• How Not To Run an A/B Test (Evan Miller, англійською) — підглядання за результатами завищує кількість хибнопозитивних результатів. Перевірено 02.10.2026.
• Sample Size Calculator (Evan Miller, англійською) — розмір вибірки на версію (базовий рівень 3,75%, ефект 0,5 відсоткового пункту в абсолютному вираженні, потужність 80%, α 5%). Перевірено 02.10.2026.
• Дані GetProfit: 110 інтернет-магазинів, червень 2025 — червень 2026 — місячне відхилення ROAS від медіани кожного магазину.