„Nowe badanie dowodzi” — ile razy widziałeś taki nagłówek, po którym okazywało się, że „badanie” to eksperyment na 20 studentach jednej uczelni? Wielkość próby i przedział ufności to dwa pojęcia statystyczne, które decydują o tym, czy wynikowi badania w ogóle można zaufać — a mimo to prawie nigdy nie trafiają do nagłówków. W efekcie pojedyncze, małe badanie bywa prezentowane w mediach jako uniwersalna prawda naukowa, choć w rzeczywistości mówi bardzo niewiele o tym, co dzieje się poza salą, w której je przeprowadzono.
W tym artykule wyjaśniam krok po kroku, czym jest wielkość próby i przedział ufności, dlaczego mała próba badawcza generuje szeroki margines niepewności, oraz jak — nie będąc statystykiem — samodzielnie ocenić, czy dane badanie zasługuje na nagłówek, czy tylko na dopisek „wymaga dalszych badań”.
Czym jest wielkość próby i dlaczego ma znaczenie
Wielkość próby (oznaczana literą n) to liczba osób, zwierząt, przypadków czy pomiarów uwzględnionych w badaniu. Naukowcy niemal nigdy nie badają całej populacji — zamiast tego pobierają próbę i na jej podstawie szacują, jak wygląda sytuacja w całej populacji. Kluczowe słowo to właśnie szacują: każdy taki szacunek obarczony jest niepewnością, a rozmiar tej niepewności da się dokładnie policzyć.
Zgodnie z podstawowym prawem statystyki, błąd standardowy szacunku maleje proporcjonalnie do pierwiastka kwadratowego z liczebności próby (√n). To ma bardzo praktyczną konsekwencję: aby dwukrotnie zmniejszyć niepewność wyniku, próba musi być nie dwa, lecz aż cztery razy większa. Dlatego przejście z badania na 25 osobach do badania na 100 osobach nie daje „czterokrotnie lepszego” wyniku, tylko dwukrotnie węższy przedział niepewności — a mimo to każde z tych badań może zostać opisane w mediach identycznie mocnym nagłówkiem.
Czym jest przedział ufności
Przedział ufności (najczęściej 95%) to zakres wartości, w którym — przy założeniu poprawnego doboru próby — z określonym prawdopodobieństwem mieści się prawdziwa wartość w całej populacji. Kiedy sondaż podaje, że kandydat ma poparcie 42% ± 3 punkty procentowe, oznacza to: jesteśmy w 95% pewni, że prawdziwe poparcie w całej populacji mieści się gdzieś między 39% a 45%. Owe „± 3 punkty” to margines błędu — połowa szerokości przedziału ufności.
Problem w tym, że dziennikarze (a czasem i sami autorzy komunikatów prasowych) bardzo często pomijają przedział ufności i podają tylko punktową wartość — np. „42% Polaków uważa, że…”. Bez przedziału ufności czytelnik nie ma żadnej informacji o tym, jak precyzyjny jest ten wynik.
__CI_IMG__
Studium przypadku: jak małe badanie stało się globalnym fenomenem — i upadło
Jednym z najbardziej pouczających przykładów w najnowszej historii nauk społecznych jest historia tzw. „power posing” (przyjmowania „pozycji mocy”). W 2010 roku badaczki Dana Carney, Amy Cuddy i Andy Yap opublikowały w czasopiśmie „Psychological Science” pracę, w której wykazały, że osoby przyjmujące przez minutę ekspansywną, „mocną” postawę ciała miały później wyższy poziom testosteronu, niższy poziom kortyzolu i chętniej podejmowały ryzyko niż osoby przyjmujące postawę „słabą”. Badanie objęło zaledwie 42 uczestników.
Wynik ten stał się podstawą jednego z najpopularniejszych wystąpień w historii TED (obejrzanego dziesiątki milionów razy) i wszedł do kultury popularnej jako „naukowo potwierdzony” sposób na zwiększenie pewności siebie przed rozmową o pracę czy ważną prezentacją.
Problem pojawił się w 2015 roku, gdy zespół badaczy pod kierunkiem Eve Ranehill przeprowadził replikację tego eksperymentu na znacznie większej próbie — 200 uczestników, niemal pięciokrotnie więcej niż w badaniu oryginalnym. Wyniki replikacji nie potwierdziły żadnego z efektów hormonalnych ani behawioralnych opisanych w pracy z 2010 roku. W kolejnych latach kilkanaście dalszych, niezależnych badań — łącznie obejmujących więcej uczestników niż niemal cała wcześniejsza literatura na ten temat — również nie wykazało efektu „power posingu” na poziom hormonów czy podejmowanie ryzyka.
To nie oznacza, że badaczki z 2010 roku oszukiwały — oznacza to, że efekt zaobserwowany na 42 osobach, nawet jeśli statystycznie istotny w tamtej próbie, po prostu nie utrzymał się przy większej, bardziej precyzyjnej próbie. Innymi słowy: mały rozmiar próby dał szeroki, niepewny przedział ufności, w którym zmieścił się efekt niebędący realnym zjawiskiem w populacji.
Kryzys replikacji — problem systemowy, nie pojedynczy przypadek
Historia „power posingu” nie jest odosobniona. W 2015 roku międzynarodowy zespół badaczy skupiony wokół projektu Open Science Collaboration opublikował w prestiżowym czasopiśmie „Science” wyniki jednego z największych projektów replikacyjnych w historii nauk społecznych. Zespół podjął próbę powtórzenia 100 badań psychologicznych opublikowanych wcześniej w trzech czołowych czasopismach naukowych.
Wyniki były otrzeźwiające: podczas gdy 97% oryginalnych badań raportowało istotny statystycznie efekt, przy replikacji istotność statystyczną utrzymało jedynie 36% z nich. Co więcej, nawet w tych badaniach, które udało się powtórzyć, średnia wielkość efektu była o połowę mniejsza niż w badaniu oryginalnym. Analitycy wskazują, że jedną z głównych systemowych przyczyn tego zjawiska są zbyt małe próby badawcze w oryginalnych eksperymentach, w połączeniu z presją na publikowanie wyłącznie „pozytywnych”, efektownych wyników.
Dlaczego małe próby częściej dają „spektakularne” wyniki
Paradoksalnie, to właśnie małe badania są statystycznie bardziej podatne na wygenerowanie bardzo silnych, efektownych wyników — nie dlatego, że efekt jest silniejszy, lecz dlatego, że przy małej próbie przypadkowa zmienność ma znacznie większy wpływ na wynik końcowy. Duża próba „uśrednia” przypadkowe odchylenia, mała próba pozwala im zdominować obraz. To dlatego to właśnie niewielkie badania z bardzo mocnymi wnioskami tak często trafiają na pierwsze strony — nie ze względu na jakość dowodów, lecz ze względu na atrakcyjność samego wyniku.
Jak samodzielnie ocenić, czy warto zaufać danemu badaniu
Poniższa checklista pozwala w kilkadziesiąt sekund ocenić, czy artykuł prasowy relacjonujący wyniki badania naukowego zasługuje na Twoje zaufanie, czy raczej na zdrową dozę sceptycyzmu.
__CHECKLIST_IMG__
1. Sprawdź liczebność próby
Poszukaj w tekście liczby „n=” lub sformułowań typu „wśród X uczestników”. Jeśli artykuł w ogóle nie podaje liczebności próby, to już samo w sobie jest sygnałem ostrzegawczym.
2. Sprawdź, czy podano przedział ufności lub margines błędu
Rzetelne sondaże i badania publikują margines błędu. Jego brak nie zawsze oznacza złą wiarę — czasem to po prostu uproszczenie dziennikarskie — ale zawsze warto doszukać się oryginalnej publikacji naukowej, gdzie taka informacja się znajdzie.
3. Sprawdź, czy wynik został zreplikowany
Pojedyncze badanie, nawet duże i dobrze zaprojektowane, to wciąż tylko jeden punkt danych. Nauka działa kumulatywnie — dopiero powtórzenie wyniku przez niezależne zespoły buduje realną pewność.
4. Oceń reprezentatywność próby
Duża próba, która nie jest reprezentatywna (np. wyłącznie studenci jednej uczelni albo osoby, które same zgłosiły się do udziału w badaniu), wciąż może prowadzić do błędnych wniosków o całej populacji, mimo pozornie imponującej liczebności.
5. Skonfrontuj nagłówek z rzeczywistą siłą dowodów
Zapytaj: czy nagłówek mówi „może sugerować” czy „udowadnia”? Rzetelne badania na małych próbach są zwykle opisywane przez samych autorów jako wstępne, pilotażowe lub wymagające potwierdzenia — to media, upraszczając przekaz, często zamieniają ostrożne sformułowania w kategoryczne twierdzenia.
Najczęściej zadawane pytania
Czy małe badanie zawsze jest bezwartościowe?
Nie. Małe badania pilotażowe pełnią ważną rolę we wczesnych etapach nauki — pozwalają sprawdzić, czy dany kierunek badań w ogóle warto rozwijać, zanim zainwestuje się zasoby w badanie na dużą skalę. Problem pojawia się dopiero wtedy, gdy wynik małego badania pilotażowego jest prezentowany publicznie jako ostateczny dowód.
Jaka wielkość próby jest „wystarczająca”?
Nie ma jednej uniwersalnej liczby — zależy to od tego, jak silny i jak zmienny jest badany efekt. Dlatego dobrze zaprojektowane badania z góry publikują tzw. analizę mocy statystycznej (power analysis), która wskazuje, jaka liczebność próby jest potrzebna, by wykryć dany efekt z określonym prawdopodobieństwem.
Czy szeroki przedział ufności oznacza, że badanie jest złe?
Niekoniecznie — czasem to po prostu uczciwa i przejrzysta informacja o realnej niepewności pomiaru. Gorszym sygnałem jest sytuacja odwrotna: wynik podany bez żadnego przedziału ufności, sugerujący fałszywą precyzję.
Podsumowanie
Wielkość próby i przedział ufności to nie są suche pojęcia zarezerwowane dla podręczników statystyki — to praktyczne narzędzia, które pozwalają odróżnić solidny dowód naukowy od chwilowej sensacji medialnej. Historia „power posingu” i wyniki wielkiego projektu Open Science Collaboration pokazują, że nawet prestiżowe czasopisma naukowe publikowały wyniki, które nie wytrzymały konfrontacji z większą, dokładniejszą próbą. Zanim uwierzysz w kolejny nagłówek zaczynający się od „nowe badanie dowodzi”, sprawdź, na ilu osobach je przeprowadzono — to jedno pytanie potrafi zaoszczędzić więcej rozczarowań niż jakikolwiek inny nawyk czytelniczy.