Realizacja prób w kolejnych edycjach badań: co pokazało porównanie
Zestawiliśmy dane terenowe z czterech lat i sprawdziliśmy, gdzie realizacja prób się zmieniała oraz jak przekłada się to na wagi poststratyfikacyjne.

Przez ostatnie miesiące wracaliśmy do danych terenowych z kilku edycji naszych badań. Zależało nam na jednym: sprawdzić, czy realizacja prób zmienia się w sposób, który ma znaczenie dla ważenia. Porównaliśmy cztery edycje, z lat 2018–2021, i przyjrzeliśmy się wskaźnikom realizacji w podziale na warstwy oraz na typ operatu. Wyniki nie są sensacją, ale w kilku miejscach zaskakują. Największe różnice pojawiły się między edycjami w warstwach miejskich i w próbach imiennych. W tekście pokazujemy liczby, mówimy, gdzie metoda zawiodła, i zapowiadamy, co zmienimy w kolejnej edycji. W tle zostaje pytanie o wagi poststratyfikacyjne, które po takich porównaniach trzeba liczyć ostrożniej.
Co i jak porównywaliśmy
Zestawienie objęło cztery edycje naszego badania ankietowego, prowadzonego jesienią w latach 2018–2021. W każdej edycji mieliśmy do czynienia z podobnym projektem: losowanie warstwowe, operat adresowy lub imienny, zbieranie danych w terenie przez ankieterów. Porównywaliśmy wskaźniki realizacji w podziale na warstwy (miasto duże, miasto średnie, wieś) oraz na typ operatu. Dane pochodziły z raportów terenowych, które i tak zbieramy na potrzeby ważenia.
Nie chodziło o pełny audyt. Chcieliśmy zobaczyć, czy między edycjami pojawiają się różnice, które trzeba uwzględnić w analizach. W sumie przejrzeliśmy kilkanaście tysięcy rekordów, ale w tekście podajemy tylko liczby zagregowane. Szczegóły techniczne zostawiamy w dokumentacji wewnętrznej.

Gdzie realizacja się zmieniała
Największe wahania dotyczyły warstw miejskich. W 2018 roku realizacja w dużych miastach wyniosła 58%, a w 2021 spadła do 49%. W miastach średnich utrzymywała się w granicach 62–65%. Na wsi była najbardziej stabilna: 71% w 2018 i 69% w 2021. Różnice między edycjami widać też w próbach imiennych, gdzie realizacja spadała szybciej niż w próbach adresowych. To zresztą temat, który rozwijamy w osobnym tekście o projektowaniu prób imiennych i adresowych.
Zestawienie liczb prezentuje się następująco:
| Edycja | Realizacja ogółem | Miasta duże | Miasta średnie | Wieś |
|---|---|---|---|---|
| 2018 | 64% | 58% | 63% | 71% |
| 2019 | 62% | 55% | 62% | 70% |
| 2020 | 59% | 51% | 61% | 68% |
| 2021 | 57% | 49% | 62% | 69% |
Spadek ogólny o 7 punktów procentowych między 2018 a 2021 rokiem nie rozkłada się równo. W dużych miastach to 9 punktów, na wsi tylko 2. To ważne, bo właśnie w miastach mamy zwykle więcej warstw i bardziej zróżnicowane wagi.
Co to znaczy dla ważenia
Spadek realizacji w miastach oznacza, że wagi poststratyfikacyjne dla tych warstw rosną. W 2018 roku waga dla dużego miasta wynosiła średnio 1,4, a w 2021 już 1,8. To nie jest jeszcze problem sam w sobie, ale trzeba pamiętać, że wyższe wagi zwiększają wariancję oszacowań. W analizach z 2021 roku zauważyliśmy, że błędy standardowe dla的一些 zmiennych były o kilkanaście procent wyższe niż w 2018. Nie jesteśmy w stanie tego przypisać wyłącznie realizacji, ale korelacja jest wyraźna.
Przy okazji przypomnieliśmy sobie, jak ważne jest systematyczne podejście do wag. Nasz przewodnik jak przygotować wagi poststratyfikacyjne krok po kroku okazał się pomocny przy porządkowaniu tych porównań. Warto też zajrzeć do przeglądu narzędzi do liczenia wag, jeśli chcecie policzyć podobne zestawienia u siebie.
Co nie zadziałało i dlaczego
Chcieliśmy też sprawdzić, czy różnice w realizacji da się wyjaśnić liczbą kontaktów. Okazało się, że w naszych danych nie ma spójnego rejestru prób kontaktów dla wszystkich edycji. W 2018 i 2019 roku ankieterzy notowali kontakty niesystematycznie, więc porównanie liczby prób na uzyskaną odpowiedź jest obciążone. To nasza wewnętrzna lekcja: od 2022 roku prowadzimy jednolity dziennik kontaktów.
Drugi problem to mała liczebność w niektórych warstwach. W 2020 roku w jednej z warstw miejskich mieliśmy tylko 38 zrealizowanych wywiadów, co przy ważeniu daje niestabilne oszacowania. W raporcie wewnętrznym oznaczyliśmy takie przypadki, ale w analizach i tak trzeba je traktować ostrożnie.
Porównania między edycjami uczą pokory. Czasem wydaje się, że realizacja spadła, a to tylko zmiana w sposobie liczenia.
Co zmienimy w kolejnej edycji
Po pierwsze, ujednolicamy raportowanie realizacji w podziale na warstwy i typ operatu już na etapie zbierania danych. Po drugie, wprowadzamy obowiązkowy dziennik kontaktów dla wszystkich ankieterów. Po trzecie, przy ważeniu będziemy uważniej przyglądać się warstwom o niskiej realizacji i rozważymy łączenie sąsiednich warstw, jeśli liczebności będą zbyt małe.
Te zmiany nie rozwiążą wszystkich problemów, ale pozwolą lepiej rozumieć, skąd biorą się różnice między edycjami. Więcej o naszych warsztatach i planach na najbliższy cykl piszemy w tekście o jesiennym cyklu warsztatów o wagach.
Pytania, które zadają ludzie
Czy spadek realizacji w miastach jest niepokojący?
Sam spadek nie jest dramatyczny, ale przy ważeniu zwiększa wagi dla tych warstw. Warto monitorować, czy nie przekłada się to na większe błędy standardowe w analizach.
Jakie liczby brać pod uwagę przy porównaniach?
Przede wszystkim realizację w podziale na warstwy i typ operatu, a nie tylko wskaźnik ogólny. Różnice między warstwami mogą się wzajemnie znosić w średniej.
Czy będziecie kontynuować to zestawienie?
Tak, planujemy powtarzać porównanie po każdej edycji badania. Chcemy też ujednolicić sposób raportowania, żeby dane były porównywalne.


