Jak zwiększyć jakość badań online. Analiza 4mld ankiet

Ponad 4 miliardy ankiet online — tyle od stycznia do końca sierpnia 2025 roku przeskanował system Research Defender firmy Rep Data. Jeden z kluczowych wniosków z tej analizy: około 33% prób wypełnienia ankiet to fraud, a kolejne 27% to zachowania nieuważnych respondentów.

Przy takiej skali pojawiają się dwa pytania. Kogo rzeczywiście dopuszczamy do naszych badań? I jak zadbać o to, żeby zebrane odpowiedzi były wiarygodną podstawą do podejmowania decyzji?

Analiza jakości pozwala dostrzec wyzwania, które łatwo przeoczyć przy pierwszym spojrzeniu na wyniki. Niska jakość odpowiedzi ma jednak różne przyczyny. Czasem jest efektem celowego działania, czasem zmęczenia lub niezrozumienia pytań. Respondent może mieć dobre intencje, ale długa i skomplikowana ankieta utrudnia mu uważne odpowiadanie. Warto więc spojrzeć także na pracę badacza: czy projektując badanie, sami nie dokładamy się do problemu?

Sęk w tym, że niewiarygodna odpowiedź na pierwszy rzut oka może wyglądać zupełnie poprawnie. Trafia więc do analizy, wpływa na wynik, a potem na rekomendację dla klienta. Jeśli na tej podstawie klient wybierze reklamę albo ustali cenę produktu, jakość odpowiedzi zaczyna mieć bardzo konkretne konsekwencje dla jego biznesu. Problem wykryty później może oznaczać powtórzenie badania i przesunięcie decyzji.

Dlatego o jakość danych trzeba dbać na każdym etapie — zaczynając jeszcze przed wysłaniem pierwszego zaproszenia do ankiety.

Punktem wyjścia jest dla mnie model czterech zasad Jonathana Goodbreada, Head of Data Quality Strategy w firmie AYTM: zapobieganie, weryfikacja uczestników, analiza surowych danych i udokumentowanie jakości. Poniżej odnoszę te cztery etapy do naszej praktyki w Fieldstat i dodaję kilka własnych spostrzeżeń.

Zanim wyślemy pierwsze zaproszenie, podejmujemy decyzje, które przesądzą o jakości odpowiedzi: ustalamy długość kwestionariusza, język pytań i wysiłek, jakiego oczekujemy od uczestnika.

Dobra ankieta daje respondentowi szansę zrozumieć pytanie i odpowiedzieć zgodnie z własnym doświadczeniem. Jeśli projektujemy ją bez uwzględnienia tego wysiłku, sami zwiększamy ryzyko powierzchownych odpowiedzi.

Agencje badawcze dobrze znają sytuację, w której klient chce coraz dłuższych pytań. Dodajmy wyjaśnienie. Dopiszmy instrukcję. Zapytajmy jeszcze o jeden szczegół. Rozumiemy tę potrzebę: klient inwestuje w badanie i chce wykorzystać okazję jak najlepiej.

Tylko że respondent musi to wszystko przeczytać. A potem zrobić to samo przy następnym pytaniu. I kolejnym. I kolejnym. Dla badacza budującego kwestionariusz każdy dopisek ma sens; dla osoby odpowiadającej na telefonie kolejne dopiski oznaczają nadmierne obciążenie poznawcze.

Dlatego uważam, że w badaniach online upraszczanie kwestionariuszy powinno być elementem rygoru metodologicznego: krótsze zdania, czytelne pytania, instrukcje tylko tam, gdzie są naprawdę potrzebne. Oczywiście skracanie ma granicę. Rolą agencji jest pomóc klientowi znaleźć ten punkt i uzasadnić, dlaczego prostsza wersja może służyć badaniu lepiej.

Zanim ocenimy odpowiedź, powinniśmy wiedzieć, kogo dopuściliśmy do badania. Czy za kontem stoi rzeczywista osoba? Czy nie uczestniczy wielokrotnie? Czy spełnia kryteria grupy docelowej?

Proponuję szersze wykorzystanie potwierdzania tożsamości panelistów — podejścia znanego z usług publicznych, gdzie tożsamość potwierdzamy za pośrednictwem bankowości elektronicznej. W naszym Panelu Badawczym NPB pracujemy obecnie nad wdrożeniem weryfikacji panelistów przez autoryzację bankową. Pozwoli to wyeliminować zakładanie fałszywych i wielokrotnych kont już na samym początku.

Kolejną możliwością jest weryfikacja biometryczna: porównanie twarzy uczestnika ze zdjęciem w dokumencie i sprawdzenie, czy przed kamerą znajduje się żywa osoba. Skuteczność tej metody trzeba jednak ocenić w praktyce — część uczciwych osób może zrezygnować z udziału z obawy o prywatność albo z powodu trudności technicznych.

Z mojej perspektywy weryfikacja tożsamości powinna być priorytetem, a dobór metod — jak najbardziej różnorodny. Potwierdzona tożsamość nie gwarantuje jednak, że ktoś odpowie samodzielnie i uważnie. Dlatego potrzebny jest kolejny etap.

Na tym etapie sprawdzamy, czy zebrana „surówka” zasługuje na to, by oprzeć na niej wnioski. Łączymy analizę treści, spójności deklaracji i zachowania respondenta podczas wypełniania kwestionariusza. Na tej podstawie wykluczamy wywiady niespełniające kryteriów jakości i dokumentujemy powody odrzucenia.

Analizę prowadzimy już w trakcie realizacji, żeby reagować na problemy, zanim wpłyną na cały zbierany materiał. To realnie wzmacnia podstawę naszych rekomendacji: eliminujemy wpływ automatycznie generowanych treści, nadużyć i nieuważnego odpowiadania. W połączeniu z weryfikacją uczestników daje nam to większą pewność, że analizujemy rzeczywiste opinie i doświadczenia ludzi. Klient otrzymuje dane poddane konkretnej, udokumentowanej kontroli, a my potrafimy wyjaśnić, dlaczego uznajemy je za wiarygodne.

Dopełnieniem procesu jest transparentność: pokazanie klientowi, jak zadbaliśmy o jakość danych i jakie ograniczenia trzeba uwzględnić przy interpretacji. Sama liczba odrzuconych ankiet niewiele jeszcze mówi. Ważne jest również to, kto pozostał w badaniu i czy uzyskana próba odpowiada założeniom. Jeżeli w trakcie realizacji pojawiło się coś istotnego dla interpretacji wyników, to właśnie tu jest miejsce, by to wyjaśnić.

Warto uzgodnić te kwestie już na początku projektu: o co potrzebujemy zapytać, jak ułatwić respondentom udzielenie odpowiedzi i jak później przedstawimy wyniki kontroli jakości. Takie ustalenia porządkują pracę i dają klientowi jasny obraz tego, czego może oczekiwać.