Na ile to badanie jest wiarygodne?

To magiczne pytanie trzeba rozdzielić na kilka pośrednich.

Czy 1000 osób wystarczy, żeby mówić o np. 4 milionach?

Oczywiście. Próbka np. 1000 osób wystarczy, żeby mówić o wszystkich Polakach i Polkach. Działa to na zasadzie zupy pomidorowej (jak wyjaśniła to Janina Bąk w swojej książce). W skrócie: jak wymieszasz zupę, to możesz coś powiedzieć o jej smaku, nawet jeśli nie jesz każdej łyżki osobno. Podobnie jest z badaniami – jeśli wybierze się odpowiednią reprezentację osób, można na tej podstawie ocenić szerszą populację.

Definicja próby reprezentatywnej

Próba, której struktura ze względu na badane cechy (zmienne) jest zbliżona do struktury populacji statystycznej, z której pochodzi. Reprezentatywność próby (próba reprezentatywna) można uzyskać stosując zarówno losowe (probabilistyczne) jak i nielosowe (nieprobabilistyczne) techniki wyboru próby. Należy jednak zaznaczyć, iż większą szansę na reprezentatywność próby daje zastosowanie technik losowego jej wyboru.

Czy wasza grupa jest reprezentatywna?

To pytanie jest trudne. Nasza próba była pseudolosowa, ale nie da się uzyskać prawdziwie losowej, jeśli brak informacji o populacji. Da się mieć reprezentatywną próbę z próby dobieranej (nielosowej). Tylko trzeba coś wiedzieć o populacji.

O ile możemy ocenić na bazie innych badań, że jest nas – osób LGBTQIAP+ – około 4 miliony w Polsce, o tyle ciężko ocenić, przykładowo, ile z tych osób identyfikuje się jako geje. Pomijając problem z oceną reprezentatywności dotyczącą tożsamości płciowej czy seksualnej, nie wiemy również, jak dalece populacja osób LGBTQIAP+ jest zbliżona do całej populacji (czyli danych z CBOSu czy GUSu).

Popatrzmy na wyższe wykształcenie. W 2022 r. wykształcenie wyższe miało 50,1% kobiet i 31,2% mężczyzn (wg danych rządowych). Czy takie same odsetki są dla osób LGBTQIAP+? Czy to oznacza, że połowa lesbijek ma wyższe wykształcenie? Połowa kobiet biseksualnych? Pewnie nie. Pewnie istnieją różnice.

Oznacza to, że w naszym badaniu jest statystycznie więcej kobiet z wyższym wykształceniem (72% wszystkich kobiet) niż w populacji Polski. Czy to znaczy, że to jest nieprawidłowa informacja, czyli mamy nadreprezentację kobiet z wyższym wykształceniem?

Tego nie wiemy.

Nasza średnia nie musi pokrywać się ze średnią polską. Wyobraźmy sobie, że w rzeczywistości w całej populacji 70% lesbijek ma wyższe wykształcenie. W naszym badaniu 74% lesbijek ma wyższe wykształcenie – niewielki błąd. Wtedy średnia dla Polek może być 50%, oznacza to tylko, że np. z prawie 2 mln lesbijek (gdyby tyle ich było), 70% miałoby wyższe wykształcenie, ale wtedy przedstawicielki innych grup – na przykład kobiet biseksualnych – miałyby niższy odsetek, co dawałoby średnią 50% dla Polek i 70% dla lesbijek. Dane z naszego badania byłyby bliskie prawdzie.

Nie jesteśmy więc w stanie ocenić reprezentatywności danych, bo mamy trochę za mało informacji.

Czy to badanie jest obarczone błędami?

Każde badanie jest obarczone błędami. Naszą ankietę wypełniały same osoby respondenckie, co oznacza, że mogły zmyślać wpisując odpowiedzi.
Ktoś mógł nie zrozumieć pytania lub zrozumieć inaczej niż było naszą intencją.
Mogłam się pomylić przeliczając dane.
Nie ma pomyłki w przenoszeniu danych z badania – tabele i wykresy pobierają dane bezpośrednio z Excela badawczego, ale zawsze mogłam pomylić się w przeklejaniu, które dane mają zostać pobrane.

Poza tym każde badanie jest niedoskonałe, kiedy badamy tylko wycinek populacji. Nie wiemy, czy nasza próbka była reprezentatywna, bo nie wiemy, jakie są dane dla całej populacji.