Efekt sufitu w ankietach satysfakcji: co zrobić, gdy prawie wszyscy klienci dają najwyższą ocenę
W drugim roku pracy z panelem ankietowym wiele firm trafia na ten sam paradoks. Wyniki są bardzo dobre: 90-95% ocen to najwyższa emotikona, średnia tygodniowa waha się między 4,8 a 4,9. Raport, który na początku prowadził do konkretnych zmian w grafiku i obsłudze, teraz niczego nie pokazuje. Każdy tydzień wygląda tak samo, a spadek z 93% do 90% ocen najwyższych przechodzi niezauważony.
To zjawisko ma nazwę: efekt sufitu w ankiecie. Nie oznacza, że obsługa jest idealna, ani że pomiar przestał być potrzebny. Oznacza, że narzędzie przestało być czułe na zmiany w górnej części skali. Ten tekst pokazuje, jak sprawdzić, czy wysokie oceny są wiarygodne, jaki wskaźnik zastępuje średnią i kiedy zmieniać pytanie.
W skrócie
- Efekt sufitu występuje, gdy większość odpowiedzi skupia się na najwyższej ocenie i średnia przestaje się zmieniać.
- Zanim uznasz wynik za prawdziwy, sprawdź widoczność panelu dla personelu, serie ocen w krótkim czasie i poziom zwrotności.
- Zamiast średniej śledź odsetek ocen poniżej najwyższej. Zmiana z 8% na 10% to wzrost o jedną czwartą, choć średnia spada tylko z 4,88 do 4,85.
- Najpierw dodaj pytanie uzupełniające do ocen poniżej najwyższej. Pytanie główne zmieniaj dopiero, gdy wynik stoi przy suficie od co najmniej 3 miesięcy we wszystkich segmentach.
Czym jest efekt sufitu w badaniu satysfakcji klienta
Pojęcie pochodzi ze statystyki i psychometrii. Efekt sufitowy pojawia się wtedy, gdy wyniki pomiaru gromadzą się przy górnej granicy skali, a narzędzie nie pozwala odróżnić wyników dobrych od bardzo dobrych. W badaniu satysfakcji klienta skala emotikon ma pięć stopni. Jeśli 92% klientów wybiera najwyższy, wszystkie zmiany, które mogą się wydarzyć, rozgrywają się w pozostałych 8% odpowiedzi.
Skutek jest praktyczny. Poprawa obsługi nie może już podnieść wyniku, bo wyżej nie ma miejsca. Pogorszenie obsługi obniża średnią o setne części punktu, czyli o wielkość, którą w raporcie łatwo uznać za szum.
Najpierw sprawdź, czy wysokie oceny są prawdziwe
Zanim zaczniesz zmieniać wskaźniki, upewnij się, że wysokie oceny w ankiecie odzwierciedlają zadowolenie klientów, a nie sposób zbierania odpowiedzi. Cztery pytania kontrolne:
- Czy personel widzi, jaką ocenę wybiera klient? Panel ustawiony tuż przy kasie, z ekranem zwróconym do obsługi, wywiera presję. Klient obserwowany przez kasjera rzadko wybiera czerwoną emotikonę.
- Czy ktoś prosi klientów o ocenę pozytywną? „Proszę o zieloną buźkę” podnosi wynik i odbiera mu wartość.
- Czy w danych są serie ocen najwyższych w odstępach kilku sekund? Takie serie, zwłaszcza pod koniec zmiany, wskazują na oceny wystawiane przez pracowników. Jak to wykrywać i jak się przed tym chronić, opisuje tekst o tym, jak zabezpieczyć system przed nabijaniem sztucznych ocen.
- Czy zwrotność jest bardzo niska? Przy niskiej zwrotności odpowiadają głównie klienci z silną emocją. Jeśli emocja jest zwykle pozytywna, wynik zbliża się do sufitu, choć przeciętny klient ocenia wizytę skromniej. Sposób liczenia zwrotności pokazuje artykuł o zwrotności ankiet w punkcie obsługi.
Jeśli na którekolwiek z tych pytań odpowiedź brzmi „tak”, najpierw usuń przyczynę, a dopiero potem oceniaj wynik. Wysoka ocena zebrana pod presją nie jest efektem sufitu, tylko błędem pomiaru.
Zamiast średniej: odsetek ocen poniżej najwyższej
Średnia ocen jest najpopularniejszym wskaźnikiem w raportach i jednocześnie najmniej czułym przy wynikach bliskich sufitowi. Dużo lepiej sprawdza się odsetek ocen poniżej najwyższej, czyli suma wszystkich ocen, które nie są najwyższą emotikoną.
Przykład liczbowy. Emotikonom przypisano wartości od 1 do 5.
| Wskaźnik | Miesiąc A | Miesiąc B | Zmiana |
|---|---|---|---|
| Oceny 5 | 92% | 90% | -2 pkt proc. |
| Oceny 4 | 6% | 7% | +1 pkt proc. |
| Oceny 3 | 1% | 2% | +1 pkt proc. |
| Oceny 1 | 1% | 1% | bez zmian |
| Średnia | 4,88 | 4,85 | -0,03 |
| Odsetek ocen poniżej najwyższej | 8% | 10% | wzrost o 25% |
Spadek średniej o 0,03 nikogo nie zaniepokoi. Wzrost odsetka ocen poniżej najwyższej z 8% do 10% oznacza, że klientów, którzy nie byli w pełni zadowoleni, jest o jedną czwartą więcej. To ta sama zmiana, tylko opisana wskaźnikiem, który ją widać.
Nowy wskaźnik podlega tym samym zasadom co każdy inny wynik ankiety. Różnica 2 punktów procentowych przy ok. 400 ocenach tygodniowo mieści się w marginesie błędu, więc porównuje się miesiące, a nie tygodnie. Przy ok. 1600 ocenach miesięcznie taka różnica jest na granicy marginesu, a jej utrzymanie się przez drugi miesiąc jest już sygnałem. Tabelę marginesów zawiera tekst o tym, ile odpowiedzi w ankiecie wystarczy.
Dopytaj tych, którzy nie dali najwyższej oceny
W wielu konfiguracjach pytanie uzupełniające pojawia się tylko po ocenie negatywnej. Przy wynikach bliskich sufitowi ocen negatywnych jest bardzo mało, więc pytanie uzupełniające prawie nigdy się nie wyświetla i nie dostarcza informacji.
Rozwiązaniem jest przesunięcie progu: pytanie uzupełniające wyświetla się po każdej ocenie poniżej najwyższej. Klient, który wybrał czwartą emotikonę zamiast piątej, zwykle ma jeden konkretny powód, na przykład „trochę za długo czekałem” albo „brakowało jednego produktu”. Te drobne powody są dokładnie tym, co można jeszcze poprawić w punkcie, który działa dobrze. Ustawienie takiego progu warto omówić przy konfiguracji panelu badania opinii.
Rozbij wynik na segmenty
Wynik ogólny na poziomie 92% ocen najwyższych rzadko jest równy we wszystkich godzinach i dniach. Podział na pory dnia, dni tygodnia lub lokalizacje zwykle pokazuje segmenty, w których do sufitu jest jeszcze daleko: sobotnie popołudnie, pierwsza godzina po otwarciu, jeden z punktów w sieci.
Przy podziale obowiązuje ta sama zasada co przy każdej segmentacji: segment powinien mieć co najmniej 100 ocen, a porównywane segmenty podobną liczbę ocen. Jeśli po podziale żaden segment nie odstaje od reszty, wynik rzeczywiście dotarł do sufitu i czas przejść do zmiany pytania.
Zmiana pytania bez utraty porównywalności
Najprostsza reakcja na efekt sufitu to zastąpienie ogólnego pytania bardziej szczegółowym. Zmiana pytania głównego przerywa jednak szereg danych: wyników sprzed zmiany i po niej nie da się porównać. Dlatego kolejność działań jest taka:
- Zostaw pytanie główne i dodaj pytanie uzupełniające dla ocen poniżej najwyższej. Szereg danych pozostaje ciągły.
- Zmień pytanie główne tylko wtedy, gdy przez co najmniej 3 miesiące wynik jest bliski sufitowi we wszystkich segmentach i pytanie uzupełniające nie wskazuje powtarzalnych powodów. Nowe pytanie powinno dotyczyć konkretnego elementu wizyty, na przykład czasu oczekiwania albo dostępności pomocy na sali.
- Wyjątek: jeśli pytanie od początku zawierało błąd, na przykład przymiotnik podpowiadający odpowiedź, zmień je od razu. Wynik zebrany na błędnym pytaniu nie jest szeregiem, który warto chronić. Typowe błędy opisuje tekst o tym, jak sformułować pytanie w ankiecie.
Jeśli pytanie główne zostaje zmienione, zmiana następuje pierwszego dnia miesiąca, data trafia do raportu, a pierwszy pełny miesiąc na nowym pytaniu jest nowym punktem odniesienia.
Czy wysoki wynik to w ogóle problem?
Nie. Stabilnie wysoki wynik jest dobrą wiadomością dla firmy. Problemem jest wyłącznie utrata czułości pomiaru, czyli sytuacja, w której raport przestaje pokazywać zmiany. Pomiaru przy wysokich wynikach nie należy wyłączać z jednego powodu: pogorszenie widać w danych dużo szybciej niż poprawę. Punkt przy suficie nie może już urosnąć, ale może spaść, i to właśnie spadek jest informacją, na którą warto czekać.
O tym, jaki poziom wyników jest typowy w różnych branżach, piszemy w zestawieniu benchmarków CSAT i NPS w Polsce.
Pytania, które padają najczęściej
Od jakiego odsetka ocen najwyższych zaczyna się efekt sufitu?
Nie ma jednego progu. Orientacyjnie problem pojawia się, gdy ok. 85-90% ocen to najwyższa emotikona, a średnia nie zmienia się zauważalnie przez 2-3 miesiące. Decydujące jest to, czy raport nadal prowadzi do decyzji.
Czy przejść na skalę od 0 do 10?
Skala 0-10 rozciąga górną część wyników i zmniejsza efekt sufitu, ale zmienia charakter wskaźnika i przerywa szereg danych. Na panelu przy wyjściu dziesięć przycisków wydłuża też decyzję klienta. Różnice między skalami i wskaźnikami opisuje tekst o tym, czym różnią się NPS, CSAT i CES.
Co pokazywać zarządowi, gdy wynik stoi przy suficie?
Odsetek ocen poniżej najwyższej z trendem miesięcznym, najczęstsze powody z pytania uzupełniającego i segment o najniższym wyniku. Sama średnia 4,9 nie niesie informacji potrzebnej do decyzji.
Czy efekt sufitu może być sezonowy?
Tak. W okresach mniejszego ruchu obsługa ma więcej czasu dla każdego klienta i oceny rosną. Wynik przy suficie tylko w jednym sezonie nie jest powodem do zmiany pytania.
Badanie satysfakcji klienta z Recom System działa w pomiarze ciągłym, więc zmiany w górnej części skali da się śledzić miesiąc po miesiącu. Jeśli Twoje wyniki od dawna stoją przy suficie i chcesz ustalić, co zmienić w konfiguracji, napisz do nas.