Przejdź do treści
Wyniki

Narzędzia do liczenia wag poststratyfikacyjnych: krótki przegląd naszych podejść

Porównujemy kilka sposobów liczenia wag, które sprawdzaliśmy w naszych analizach: co było pracochłonne, gdzie wkraczała kontrola poprawności i kiedy metoda zawiodła.

Tomasz Grabowskiautor raportów
Opublikowano 3 min czytania
Narzędzia do liczenia wag poststratyfikacyjnych: krótki przegląd naszych podejść

Wagi poststratyfikacyjne liczymy od kilku lat na potrzeby własnych analiz i materiałów szkoleniowych. Z czasem wypróbowaliśmy kilka podejść: od prostych arkuszy po gotowe pakiety statystyczne. W tym tekście zbieramy to, co zaobserwowaliśmy, zestawiając pracochłonność z kontrolą poprawności wyników. Nie chodzi o ranking narzędzi, lecz o mapę decyzji. Opisujemy też przypadek, w którym metoda nie zadziałała i dlaczego. Punktem odniesienia jest dla nas dokumentacja z pracowni, opisana szerzej w tekście o analizach porównawczych.

Do przeglądu wybraliśmy cztery podejścia, które realnie pojawiały się w naszych pracach: ręczne liczenie w arkuszu, skrypt w R, procedurę w pakiecie do analiz sondażowych oraz gotowe narzędzie w oprogramowaniu komercyjnym. Każde przepuściliśmy przez ten sam zestaw danych: trzy zmienne demograficzne, piętnaście warstw i rozkłady referencyjne z jednego źródła. Interesowały nas dwa wymiary: ile czasu zajmuje powtórzenie obliczeń oraz na ile łatwo wychwycić błąd.

Arkusz kalkulacyjny: punkt startowy i pułapka

Arkusz to najczęstszy początek. Wpisujemy rozkłady referencyjne, liczymy udziały i dzielimy jedną tabelę przez drugą. Zaleta jest jedna, ale ważna: wszystko widać. Wadą jest brak zabezpieczeń. Przy piętnastu warstwach i trzech zmiennych łatwo przesunąć zakres albo podmienić kolumnę. W naszym teście arkusz dał poprawne wyniki dopiero przy drugim podejściu, po dodaniu kolumny kontrolnej z sumami. To dobry sposób na naukę, słabszy na powtarzalność.

Skrypt w R: powtarzalność kosztem przygotowania

Skrypt w R wymagał najwięcej pracy na starcie. Trzeba przygotować dane wejściowe, opisać mapowanie kategorii i napisać kilka linii kodu. Gdy to już działa, powtórzenie obliczeń zajmuje minuty, a wynik jest identyczny przy każdym uruchomieniu. Kontrola poprawności polega tu na porównaniu sum wag z rozkładem referencyjnym. Jeśli liczby się nie zgadzają, skrypt zatrzymuje się z komunikatem. Ten mechanizm okazał się najcenniejszy: błąd wychodzi od razu, a nie po godzinie przeglądania tabel. Szczegóły warsztatu omawiamy w materiale o przygotowaniu wag krok po kroku.

PodejścieCzas przygotowaniaCzas powtórzeniaKontrola poprawności
Arkusz kalkulacyjnykrótkiśredniręczna
Skrypt w Rdługikrótkiautomatyczna
Pakiet sondażowyśrednikrótkiczęściowa
Oprogramowanie komercyjnekrótkikrótkizależna od ustawień

Pakiet do analiz sondażowych: wygoda z warunkami

Pakiet przeznaczony do analiz sondażowych upraszcza całą procedurę do kilku wywołań. Wbudowane funkcje same sprawdzają zgodność kategorii i potrafią przyciąć skrajne wagi. To wygodne, ale wymaga zrozumienia domyślnych ustawień. W naszym teście domyślne przycinanie zmieniło rozkład w dwóch warstwach, czego początkowo nie zauważyliśmy. Dopiero porównanie z ręcznym liczeniem pokazało różnicę. Wniosek: pakiet przyspiesza pracę, lecz trzeba czytać, co robi domyślnie. Więcej o typowych błędach piszemy w tekście o wagach w analizach sondażowych.

Oprogramowanie komercyjne: szybko, ale bez śladu

Narzędzie w programie komercyjnym działało najszybciej. Procedurę uruchamia się z menu, a wynik pojawia się od razu. Problem pojawił się przy powtórzeniu analizy po pół roku: ustawienia nie były zapisane w żadnym pliku, który moglibyśmy odtworzyć. Musieliśmy odtwarzać kroki z notatek. To nauczyło nas, że szybkość bez dokumentacji jest krucha. Od tamtej pory każdą procedurę opisujemy w krótkiej nocie z parametrami.

Zdjęcie z sali warsztatowej: cztery osoby przy stole, na ekranie rozkład warstw i tabela sum kontrolnych.
Zdjęcie z sali warsztatowej: cztery osoby przy stole, na ekranie rozkład warstw i tabela sum kontrolnych.

Kiedy metoda nie zadziałała

Jeden przypadek wart jest osobnego akapitu. Przy podziale na warstwy według dwóch zmiennych jedna z nich miała kategorię bardzo rzadką. W tej warstwie znalazło się mniej obserwacji, niż przewidywał rozkład referencyjny. Wagi wyszły wysokie, a po przycięciu rozkład przestał odpowiadać założeniom. Nie był to błąd narzędzia, lecz problem projektu warstw. Poprawiliśmy podział, łącząc rzadkie kategorie, i procedura zadziałała. Wniosek: narzędzie nie zastąpi namysłu nad tym, jak zbudowane są warstwy.

4podejścia porównane na tym samym zestawie danych

Od czego zacząć

Jeśli dopiero wprowadzasz wagi do analiz, zacznij od arkusza i małej liczby warstw. Gdy procedura zacznie się powtarzać, przenieś ją do skryptu i dodaj sumy kontrolne. Pakiet sondażowy wybierz wtedy, gdy rozumiesz jego domyślne ustawienia. Komercyjne narzędzie traktuj jako wygodę, nie jako zamiennik dokumentacji. Nasze doświadczenia z kolejnych edycji badań opisujemy też w raporcie o analizach porównawczych realizacji prób.

Pytania, które zadają ludzie

Które narzędzie jest najlepsze na start?

Arkusz kalkulacyjny przy małej liczbie warstw. Pozwala zobaczyć każdy krok i zrozumieć, skąd biorą się wagi. Dopiero potem warto przenieść procedurę do skryptu.

Jak kontrolować poprawność wag?

Przez sumy kontrolne: suma wag w każdej warstwie powinna odpowiadać rozkładowi referencyjnemu. Dobrze też porównać wynik z ręcznym liczeniem na małej próbce warstw.

Dlaczego metoda czasem nie działa?

Najczęściej nie z winy narzędzia, lecz projektu warstw. Zbyt rzadkie kategorie dają skrajne wagi, a przycinanie zmienia rozkład. Pomaga połączenie rzadkich kategorii i ponowne sprawdzenie.

#wagi#poststratyfikacja#narzędzia#metodologia#analizy
NapisałTomasz Grabowskiautor raportów, Metody