Ile odpowiedzi w ankiecie wystarczy? Co wolno wyczytać z pierwszych 100 ocen klientów
Pierwszy tydzień z panelem do zbierania opinii wygląda zwykle podobnie. Na ekranie raportu jest 60 ocen, 9 z nich to czerwone emotikony, a ktoś w zespole mówi: „15% niezadowolonych, trzeba coś zrobić”. Tydzień później ocen jest 140, negatywnych 11 i nastroje się poprawiają. Która z tych liczb jest prawdziwa? Obie są, tylko żadna jeszcze nie pozwala na decyzję.
Ten tekst odpowiada na jedno pytanie: ile odpowiedzi w ankiecie wystarczy, żeby wynik badania satysfakcji klienta był podstawą działania, a nie reakcją na przypadek. Znajdziesz tu tabelę marginesu błędu dla typowych liczebności, przeliczone porównanie dwóch tygodni i reguły, które da się stosować bez znajomości statystyki.
W skrócie
- Przy pomiarze ciągłym w punkcie obsługi pytanie brzmi „czy ta zmiana jest większa niż przypadkowe wahanie”, a nie „jaka próba jest reprezentatywna”.
- 100 ocen przy 10% ocen negatywnych daje margines błędu ok. ±5,9 punktu procentowego.
- Różnicy między 10% a 15% ocen negatywnych nie da się potwierdzić przy 200 ocenach tygodniowo. Przy 400 ocenach tygodniowo już tak.
- Każdy podział wyników na godziny, zmiany czy lokalizacje zmniejsza liczbę ocen w segmencie. Próbę liczy się w segmencie, nie w całości.
Dlaczego rada „minimum 100 odpowiedzi” nie pasuje do panelu w lokalu
Poradniki o liczbie odpowiedzi w ankiecie opisują zwykle badanie jednorazowe: ankieta trafia do określonej grupy, na przykład 2000 klientów z bazy mailowej, i trzeba ustalić, ile osób musi odpowiedzieć, żeby wynik był reprezentatywny dla tej populacji. Stąd wzory na wielkość próby, poziom ufności 95% i popularna granica 100 respondentów.
Panel ankietowy w sklepie, przychodni czy restauracji działa inaczej. Badanie nie ma daty zakończenia, a populacja nie jest zamknięta – codziennie przychodzą nowi klienci. Z tego powodu przy pomiarze ciągłym ważniejsze od pytania „czy mam dość odpowiedzi” jest pytanie „czy różnica, którą widzę w raporcie, jest większa niż zwykłe wahanie wyniku”. Na to drugie pytanie odpowiada margines błędu.
Margines błędu: ile naprawdę mówi 30, 100 i 400 ocen
Margines błędu pokazuje, w jakim przedziale najprawdopodobniej leży prawdziwy odsetek ocen negatywnych, gdy znasz tylko wynik z próby. Poniższa tabela podaje margines przy poziomie ufności 95% dla dwóch sytuacji: gdy ocen negatywnych jest ok. 10% (typowa sytuacja w punkcie, który działa poprawnie) i gdy wynik jest bliski 50% (najgorszy przypadek dla precyzji).
| Liczba ocen | Margines błędu przy 10% ocen negatywnych | Margines błędu przy 50% ocen negatywnych |
|---|---|---|
| 30 | ±10,7 pkt proc. | ±17,9 pkt proc. |
| 50 | ±8,3 pkt proc. | ±13,9 pkt proc. |
| 100 | ±5,9 pkt proc. | ±9,8 pkt proc. |
| 200 | ±4,2 pkt proc. | ±6,9 pkt proc. |
| 400 | ±2,9 pkt proc. | ±4,9 pkt proc. |
| 1000 | ±1,9 pkt proc. | ±3,1 pkt proc. |
Jak to czytać na przykładzie. Przy 100 ocenach i 10% ocen negatywnych prawdziwy odsetek niezadowolonych klientów leży orientacyjnie między 4% a 16%. Przy 400 ocenach ten sam wynik oznacza przedział od ok. 7% do 13%. Przy 30 ocenach przedział sięga od zera do ok. 21%, czyli w praktyce nie wiadomo prawie nic. Dla bardzo małych prób wartości w tabeli są przybliżeniem, bo prosty wzór traci tam dokładność, ale wniosek się nie zmienia: 30 ocen to anegdota, nie wynik.
Stąd bierze się zasada dla sytuacji z początku tekstu. 9 ocen negatywnych na 60 to 15%, ale margines błędu przy tej liczbie ocen przekracza ±9 punktów procentowych. Wynik „15% niezadowolonych” jest zgodny zarówno z sytuacją, w której niezadowolonych jest 6%, jak i taką, w której jest ich 24%.
Zmiana czy przypadek? Porównanie dwóch tygodni krok po kroku
Najczęstsza decyzja oparta na wynikach badania satysfakcji to reakcja na zmianę: w tym tygodniu ocen negatywnych jest więcej niż w poprzednim. Przy porównaniu dwóch okresów margines błędu jest większy niż dla pojedynczego wyniku, bo niepewność dotyczy obu liczb naraz.
Przykład liczbowy. W pierwszym tygodniu 10% ocen było negatywnych, w drugim 15%. Różnica wynosi 5 punktów procentowych.
- Przy 200 ocenach w każdym tygodniu margines błędu dla różnicy wynosi ok. ±6,5 punktu procentowego. Różnica 5 punktów mieści się w tym marginesie, więc może być przypadkowa.
- Przy 400 ocenach w każdym tygodniu margines błędu dla różnicy wynosi ok. ±4,6 punktu procentowego. Różnica 5 punktów przekracza margines, więc raczej odzwierciedla realną zmianę.
Reguła praktyczna: reaguj na wzrost ocen negatywnych, gdy utrzymuje się drugi tydzień z rzędu albo gdy różnica przekracza margines z tabeli. Jeden gorszy tydzień przy 150-200 ocenach nie jest podstawą do zmiany grafiku ani rozmowy z zespołem.
Wyjątek od tej reguły jest jeden i dotyczy czasu, nie liczby ocen. Kilka ocen negatywnych w ciągu jednej godziny to sygnał operacyjny, a nie statystyczny: zepsute urządzenie, brak osoby na kasie, zabrudzona toaleta. Na taki sygnał reaguje się od razu, bez liczenia marginesów. Jak rozpoznać przyczynę takiej serii, opisuje tekst o tym, jak zdiagnozować nagły spadek ocen obsługi klienta.
Segmentacja zjada próbę: godziny, zmiany i lokalizacje
Liczba ocen w raporcie ogólnym bywa uspokajająca, ale analiza wyników w podziale na pory dnia, zmiany lub punkty dzieli tę liczbę na mniejsze części. Każda z nich ma własny, większy margines błędu.
Przykład dla punktu, który zbiera 500 ocen tygodniowo i jest otwarty 12 godzin dziennie przez 7 dni. Po 4 tygodniach jest 2000 ocen. Podział na 84 komórki „dzień tygodnia × godzina” daje średnio ok. 24 oceny w komórce, a to za mało na jakikolwiek wniosek. Podział na 4 pory dnia daje ok. 500 ocen w każdej porze i margines ok. ±2,6 punktu procentowego przy 10% ocen negatywnych, czyli wynik, na którym można oprzeć zmianę grafiku.
Reguła: jeśli segment ma mniej niż 100 ocen, połącz go z sąsiednim albo wydłuż okres analizy. Ta sama zasada obowiązuje przy porównywaniu punktów w sieci. Porównanie lokalizacji ma sens, gdy każda z nich ma co najmniej 200-300 ocen z porównywalnych godzin; więcej o tym piszemy w tekście o analizie jakości obsługi z wielu lokalizacji jednocześnie.
Panel badania opinii Recom System zapisuje każdą ocenę z datą, godziną i lokalizacją, więc raport można złożyć na dowolnym poziomie szczegółowości. Decyzja, jaki poziom ma sens przy danej liczbie ocen, pozostaje po stronie osoby analizującej wyniki.
Kiedy 100 ocen wystarczy, a kiedy potrzeba więcej
Wymagana liczba ocen klientów zależy od pytania, na które ma odpowiedzieć raport. Poniższe reguły zakładają typowy wynik rzędu 10% ocen negatywnych.
- Jeśli chcesz wiedzieć, czy klienci są ogólnie zadowoleni, wystarczy 100 ocen. Rozróżnisz punkt, w którym niezadowolonych jest kilka procent, od punktu, w którym jest ich co trzeci.
- Jeśli porównujesz dwa tygodnie i interesują cię różnice rzędu 5 punktów procentowych, potrzebujesz ok. 400 ocen w każdym tygodniu. Przy mniejszym ruchu porównuj miesiące zamiast tygodni.
- Jeśli porównujesz lokalizacje lub pory dnia, zbierz co najmniej 200-300 ocen w każdym porównywanym segmencie.
- Jeśli wyniki mają wpływać na premie lub ocenę zmiany, zbieraj oceny co najmniej przez miesiąc i nie rozliczaj pojedynczych tygodni. Pojedynczy tydzień przy małej liczbie ocen potrafi skrzywdzić zmianę, która pracuje dobrze.
Czas potrzebny na zebranie danej liczby ocen łatwo policzyć: liczbę potrzebnych ocen dzielisz przez średnią dzienną liczbę ocen. Punkt zbierający 40 ocen dziennie ma 400 ocen po 10 dniach, a punkt zbierający 10 ocen dziennie – po 40 dniach.
200 ocen z jednego popołudnia to nie 200 ocen z tygodnia
Liczba ocen to połowa warunku. Druga połowa to rozłożenie ich w czasie. Klienci odwiedzający sklep w sobotę między 12:00 a 14:00 mają inne oczekiwania i inną cierpliwość niż klienci we wtorek o 9:00. Jeśli 200 ocen pochodzi z dwóch intensywnych popołudni, wynik opisuje te popołudnia, a nie cały tydzień.
Dlatego wyniki porównuje się w tych samych przedziałach czasu: pełny tydzień z pełnym tygodniem, piątkowe popołudnia z piątkowymi popołudniami. Ta sama zasada tłumaczy, dlaczego wynik z grudnia nie jest dobrym punktem odniesienia dla lutego. Wpływ pory roku na oceny opisuje artykuł o tym, jak interpretować sezonowe wahania ocen klientów.
Pytania, które padają najczęściej
Ile czasu trzeba zbierać oceny, zanim wyciągnie się pierwsze wnioski?
Wystarczy podzielić 100 przez średnią dzienną liczbę ocen, żeby poznać moment pierwszej ogólnej oceny sytuacji. Na porównania tydzień do tygodnia potrzeba ok. 400 ocen tygodniowo. Jeśli punkt zbiera mniej, porównania prowadzi się w cyklu miesięcznym.
Czy lepiej patrzeć na średnią ocen, czy na odsetek ocen negatywnych?
Odsetek ocen negatywnych jest łatwiejszy w interpretacji i można dla niego policzyć margines błędu z tabeli. Średnia ukrywa rozkład: średnia 4,2 może oznaczać, że prawie wszyscy są umiarkowanie zadowoleni, albo że większość jest zachwycona, a co piąty klient wychodzi zły. Szerzej o czytaniu wyników piszemy w tekście jak interpretować wyniki badania opinii klientów.
Czy mała firma z niewielkim ruchem w ogóle może badać satysfakcję klientów?
Może, tylko w dłuższych okresach. Punkt zbierający 10 ocen dziennie ma 100 ocen po 10 dniach i 300 ocen po miesiącu. Taka liczba wystarcza do oceny ogólnej sytuacji i do porównań miesiąc do miesiąca. Porównania tygodniowe i podział na godziny w takim punkcie nie mają sensu.
Czy trzeba liczyć margines błędu samodzielnie?
Nie. Do codziennej pracy wystarczy tabela z tego tekstu: odczytujesz liczbę ocen, sprawdzasz margines i porównujesz go z różnicą, którą widzisz w raporcie. Jeśli różnica jest mniejsza niż margines, czekasz na kolejny tydzień danych.
Jeśli chcesz ustawić badanie satysfakcji klienta tak, żeby raporty od początku były liczone na sensownej liczbie ocen, napisz do zespołu Recom System. Na podstawie ruchu w Twoim punkcie podpowiemy, w jakim cyklu porównywać wyniki i od kiedy można je rozliczać.