Wprowadzenie

Analizowane dane pochodzą z ankiet przeprowadzonych wśród uczniów ośmiu szkół z województwa Opolskiego.

Forma prezentacji wyników

Wyniki zmiennych ciągłych

Podstawową zmienną badaną w tej analizie jest oczywiście wynik egzaminu matury podstawowej z matematyki Matura.P. Jest to wartość liczbowa w zakresie od 0 do 100 z progiem zdawalności na poziomie 30. Osiągane wyniki grupowane według różnych kategorii będą prezentowane w postaci rozbudowanego wykresu a także w formie tabelarycznej prezentującej szereg pomocnych statystyk.

Wykres jest kompilacją kilku znanych wykresów i pomimo swojej prostoty i elegancji zawiera bardzo dużą ilość informacji.

Pierwszą składową wykresu jest tradycyjny wykres pudełkowy (ang. box-plot) z którego można odczytać wartości takie jak:

  • zakres danych (\(max-min\)),
  • wartości odstające,
  • kwantyl dolny (\(Q_1\)),
  • mediana (\(Q_2\)),
  • kwantyl górny (\(Q_3\)).

Wartości odstające na wykresach pudełkowych wyznaczane są przy użyciu tzw. ogrodzeń Tykeya (ang. Tukey’s fences). Wartości odstające definiuje się jako dowolną obserwację poza zakresem:

\([Q_1-k(Q_3-Q_1),Q_3+k(Q_3-Q_1)]\)

gdzie:

  • \(Q_1\) - kwartyl dolny,
  • \(Q_3\) - kwantyl górny,
  • \(k\) - pewna nieujemna stała

John Tukey zaproponował ten test, gdzie \(k=1,5\) oznacza „wartość odstającą”, oraz \(k=3\) wskazuje dane „dalekie”1. W niniejszej analizie wartości ogrodzeń Tukeya dla danych odstających zostały wyliczone i prezentowane są w tabeli zawierającej statystyki rozszerzone pod następującymi akronimami:

  • LTF - dolne ogrodzenie Tykeya (ang. Lower Tukey Fence)
  • UTF - górne ogrodzenie Tukeya (ang. Upper Tukey Fence)

Odstępy między różnymi częściami ramki wskazują na stopień dyspersji (rozproszenia) danych oraz ich skrośność która jest miarą asymetrii rozkładu. Box-plot oprócz samych punktów, pozwala wizualnie oszacować szereg statystyk, między innymi rozstęp międzykwantylowy (\(IQR\) - różnica pomiędzy kwantylem górnym i dolnym), wyznaczany według wzoru \(IQR=Q_3-Q_1\), trimean (TM - trimean Tukeya) który jest miarą rozkładu prawdopodobieństwa określonej jako średnia ważona z podwojonej mediany i dwóch kwantyli) wyznaczany według poniższego wzoru:

\(TM=\frac{Q_1+2Q_2+Q_3}{4}\)

gdzie:

  • \(Q_1\) - kwartyl dolny,
  • \(Q_2\) - mediana,
  • \(Q_3\) - kwantyl górny.

Wartości rozstępu międzykwantylowego \(IQR\) oraz trimeanu Tukeya \(TM\) są prezentowane w tabelach podstawowych statystyk.

W tym miejscu należy od razu zaznaczyć, iż do obliczeń kwantyli korzystano z funkcji quantile która oferuje aż dziewięć różnych metod obliczania tej statystyki. W niniejszej analizie korzystano z metody zalecanej przez Hyndmana i Fana (1996)2. Więcej o używanej funkcji quantile można przeczytać tutaj.

Na wykres pudełkowy został następnie nałożony wykres wiolinowy zwany również wykresem skrzypcowym. Jest to połączenie wykresu gęstości z jego lustrzanym odbiciem. Wykres ten pozwala w bardzo prosty sposób zorientować się w rozkładzie badanej zmiennej oraz dokonać wstępnej oceny zgodności z rozkładem normalnym.

Na koniec na wykres nałożono jeszcze wykres rozproszenia w postaci “drżących punktów”. Przedstawia on wszystkie wyniki w formie pojedynczych punktów dodając niewielką liczbę losowych zmian do położenia każdego punktu tak aby poszczególne punkty nie pokrywały się wzajemnie. Te losowe zmiany są dodawane zarówno w osi x jak i y. Jest to przyczyna tego, iż w niektórych przypadkach może się zdarzyć, że pojedyncze punkty znajdą się poza wykresem gęstości. Dodatkowo, w celu polepszenia czytelności kształt punktów odstających (o ile występowały) będzie odmienny od kształtu punktów nieodstających.

Wykres zawiera również poziomą linię oznaczającą próg zdawalności z informacją jaki odsetek uczniów przekroczyło zadany próg.

Poniżej znajduje się wykres przedstawiający wyniki maturalne wszystkich badanych uczniów z ośmiu szkół.

Podstawowe statystyki wszystkich wyników maturalnych w ośmiu szkołach

n Min Q1 Średnia Mediana TM Q3 Max IQR
386 6 27 45.59 42 42.75 60 100 33

Rozszerzone statystyki wszystkich wyników maturalnych w ośmiu szkołach

n Kurtoza Skrośność Odch.st. LTF UTF Shapiro.W Shapiro.p Shapiro
386 -0.325 0.702 24.4 -22.5 109.5 1 5.42e-12 FALSE

Pod wykresem zaprezentowano wyniki statystyk w formie dwóch tabel. Poza oczywistymi wartościami, oraz omówionej wcześniej metodzie wyznaczania kwantyli warto wspomnieć o kilku parametrach. Jednym z nich jest kurtoza. Kurtoza jest miarą spłaszczenia rozkładu. W niniejszej analizie przyjęto aktualnie obowiązującą metodę obliczania kurtozy zdefiniowanej według poniższego wzoru:

\({\mbox{Kurt}}=\frac{\mu_4}{\sigma^4}-3\)

gdzie:

Dość często, szczególnie w starszych pracach, można się spotkać ze wzorem na kurtozę, w którym nie odejmuje się od ułamka liczby 3. Nowa definicja kurtozy ma jednak następujące zalety:

  • kurtoza rozkładu normalnego wynosi 0
  • jeśli \(Y\) jest sumą \(n\) niezależnych zmiennych losowych, każdej o rozkładzie identycznym z rozkładem zmiennej losowej \(X\), zachodzi własność: \({\mbox{Kurt}}[Y]={\mbox{Kurt}}[X]/n\).

Ponadto, w tabeli statystyk rozszerzonych znajdują się także wyniki testu Shapiro-Wilka. Test ten jest standardowym testem wykorzystywanym do testowania normalności danych i będzie on stosowany konsekwentnie w całej tej analizie. W tabeli podano wartość statystyki \(W\) (Shapiro.W) oraz prawdopodobieństwo \(p\) (Shapiro.p) porównywanego do założonego poziomu istotności \(\alpha\) który w całej tej analizie przyjęto na poziomie \(0.05\).

Hipotezy zerowa i alternatywna w tym teście są następujące:

  • \(H_0{:}\) Próba pochodzi z populacji o rozkładzie normalnym
  • \(H_1{:}\) Próba nie pochodzi z populacji o rozkładzie normalnym.

W celu szybkiej oceny wyniku testu dodano jeszcze kolumnę Shapiro w której zamieszczono wynik porównania prawdopodobieństwa pochodzącego z testu Shapiro-Wilka z założonym poziomem istotności. Wartość TRUE oznacza więc, że zmienne są normalnie dystrybuowane wartość FALE wymaga od nas odrzucenia hipotezy zerowej i przyjęcia hipotezy alternatywnej mówiącej, że badana zmienna nie jest normalnie dystrybuowana.

Na wykresach zamieszczano zawsze informację o wyniku badania zmiennej testem Shapiro-Wilka podając wartość zarówno statystyki \(W\) jak i wartość prawdopodobieństwa \(p\).

Porównywanie wyników dla zmiennych ciągłych

Kiedy na jednym wykresie umieszczono wyniki grupowane według jakiejś kategorii, w każdym przypadku wyznaczano odpowiednie statystyki porównujące rozkłady w poszczególnych grupach. Niestety już na wstępie analizy okazało się, że bardzo często dane nie są normalnie dystrybuowane. Ta cecha utrzymywała się praktycznie w każdej podgrupie (kategoria szkoły, szkoła a nawet klasa). Nie można więc było stosować parametrycznego testu t-Studenta. Dlatego też wszelkie porównania wykonano testem Wilcoxona. Test t-Studenta sprawdza hipotezę zerową o równości średnich arytmetycznych. Z kolei test Wilcoxona weryfikuje równość median i bazuje na różnicach pomiędzy wartościami cech z porównywanych zbiorów. Test ten, jako test nieparametryczny w przeciwieństwie do testu t-Studenta nie posiada założeń dotyczących rozkładu próby.

Na wykresie przedstawiano odpowiednie schematy porównań wraz z wartością prawdopodobieństwa pochodzącą z testu Wilcoxona. Wartość ta była oczywiście porównywana z założonym poziomem istotności. Hipotezę zerową o identyczności rozkładu odrzucano w przypadku wystąpienia prawdopodobieństwa \(p\) mniejszego od założonego poziom istotności.

Poniżej znajduje się wykres prezentujący wyniki maturalne według kategorii szkoły. Każda ze szkół otrzymała jedną z kategorii A, B, lub C.

Podstawowe statystyki wyników maturalnych uczniów według kategorii szkół

Kat. n Min Q1 Średnia Mediana TM Q3 Max IQR
A 84 6 14 23.15 22.0 21.81 29.2 50 15.2
B 184 11 28 36.48 38.0 37.50 46.0 50 18.0
C 118 34 63 75.76 72.5 75.00 92.0 100 29.0

Rozszerzone statystyki wyników maturalnych uczniów według kategorii szkół

Kat. Kurtoza Skrośność Odch.st. LTF UTF Shapiro.W Shapiro.p Shapiro
A -0.366 0.602 11.069 -8.9 52.1 0.951 2.77e-03 FALSE
B -1.017 -0.402 10.429 1.0 73.0 0.931 1.2e-07 FALSE
C -1.013 -0.067 16.983 19.5 135.5 0.935 2.18e-05 FALSE

Porównanie wyników testem Wilcoxona

Kat.1 Kat.2 W p test
A B 3047.5 1.79e-15 FALSE
B C 317.5 5.45e-46 FALSE
A C 38.0 3.05e-33 FALSE

Poza omówionymi już wcześniej tabelami statystyk, w przypadku grupowania danych, opracowywano także tabelę zawierającą wyniki porównania testem Wilcoxona. Tabela ta zwiera poza nazwami porównywanych kategorii statystykę \(W\) testu Wilcoxona, wartość prawdopodobieństwa \(p\) tegoż testu oraz wynik porównania wartości prawdopodobieństwa z założonym poziomem istotności. W ten sposób można w bardzo łatwy i szybki sposób zorientować się w jakim przypadku występują istotne różnice w rozkładach zmiennej a gdzie tych różnic nie można, na założonym poziomie istotności, stwierdzić.

Analiza wyników maturalnych

Wyniki maturalne we wszystkich szkołach

Omówmy teraz wyniki maturalne osiągnięte przez uczniów w badanych szkołach. Dla lepszej czytelności przywołajmy jeszcze raz prezentowany wcześniej wykres wraz z statystykami. Analizując te dane warto na początku zwrócić uwagę na brak zgodności z rozkładem normalnym. Obserwując wykres gęstości można zauważyć szereg lokalnych maksimów. Może to być spowodowane tym, iż ta zmienna jest sumą pochodzącą z różnych populacji (różne szkoły, różne klasy itp.). Próba wyjaśnienia przyczyny takiego kształtu wykresu gęstości zostanie omówiona w dalszej części analizy.

Wyniki nie posiadają wartości odstających, choć występuje tu skrośność na poziomie 0.7 co uwidacznia także różnica pomiędzy średnią a medianą, czy trimean-em. Wobec braku zgodności z rozkładem normalnym za wartość centralną należy przyjąć wartość mediany. Prawie 70% z wszystkich 386 przystępujących do matury uczniów przekroczyło próg zdawalności.

Podstawowe statystyki wszystkich wyników maturalnych w ośmiu szkołach

n Min Q1 Średnia Mediana TM Q3 Max IQR
386 6 27 45.59 42 42.75 60 100 33

Rozszerzone statystyki wszystkich wyników maturalnych w ośmiu szkołach

n Kurtoza Skrośność Odch.st. LTF UTF Shapiro.W Shapiro.p Shapiro
386 -0.325 0.702 24.4 -22.5 109.5 1 5.42e-12 FALSE

Wyniki maturalne według kategorii szkół

Jak już wspomniano w rozdziale Porównywanie wyników badane szkoły zostały podzielone na trzy kategorie. Każda ze szkół otrzymała jedną z kategorii A, B, lub C. Kategorie te zostały ustalone na postawie wyników osiąganych przez te szkoły pochodzących z…

Podstawowe statystyki wyników maturalnych uczniów według kategorii szkół

Kat. n Min Q1 Średnia Mediana TM Q3 Max IQR
A 84 6 14 23.15 22.0 21.81 29.2 50 15.2
B 184 11 28 36.48 38.0 37.50 46.0 50 18.0
C 118 34 63 75.76 72.5 75.00 92.0 100 29.0

Rozszerzone statystyki wyników maturalnych uczniów według kategorii szkół

Kat. Kurtoza Skrośność Odch.st. LTF UTF Shapiro.W Shapiro.p Shapiro
A -0.366 0.602 11.069 -8.9 52.1 0.951 2.77e-03 FALSE
B -1.017 -0.402 10.429 1.0 73.0 0.931 1.2e-07 FALSE
C -1.013 -0.067 16.983 19.5 135.5 0.935 2.18e-05 FALSE

Porównanie wyników testem Wilcoxona

Kat.1 Kat.2 W p test
A B 3047.5 1.79e-15 FALSE
B C 317.5 5.45e-46 FALSE
A C 38.0 3.05e-33 FALSE

Po pierwsze należy zauważyć, że w żadnej z kategorii dane nadal nie są normalnie dystrybuowane. Najbliższy rozkładowi normalnemu jest rozkład danych z kategorii A. Jednak i tu zmuszeni jesteśmy odrzucić hipotezę zerową przy założonym poziomie istotności. Zastanawiać może jednak kształt rozkładów. W każdym bowiem przypadku można wskazać wyraźne, lokalne maksima. Oczywiście nadal może to być spowodowane nałożeniem się wyników z różnych populacji (w tym przypadku poszczególnych szkół w danej kategorii). Zbadamy to w kolejnych grupowaniach. Teraz warto zwrócić uwagę na praktycznie taki sam zakres osiągany w szkołach z kategorii A oraz B chociaż wartości centralne są tu znacznie odbiegające od siebie. W zasadzie można stwierdzić, że rozkład wyników w tych kategoriach jest zbliżony do ich lustrzanego odbicia względem progu zdawalności. Kwantyl górny kategorii A jest bardzo bliski kwantylowi dolnemu z kategorii B przy bardzo podobnym rozstępie międzykwantylowym. To spowodowało, że w żadnym przypadku nie można uznać identyczności rozkładu o czym świadczą wyniki testów Wilcoxona. To są zdecydowanie różne grupy. Natomiast w żadnej z grup nie stwierdzono występowania wartości odstających.

Wyniki maturalne w poszczególnych szkołach

Wyniki maturalne szkół z kategorii A

Chcąc wyjaśnić gdzie może leżeć przyczyna braku normalności rozkładu badanej zmiennej przeprowadzono kolejne analizy tym razem kategoryzując dane według poszczególnych szkół. Aby jednak zachować czytelność prezentowanych wyników dane zastały przefiltrowane osobno dla każdej z kategorii szkół. Poniżej przedstawiono wyniki dla szkół z kategorii A.

Podstawowe statystyki wyników maturalnych uczniów szkół kategorii A

Kod n Min Q1 Średnia Mediana TM Q3 Max IQR
KIE 22 6 8.5 12.68 12.0 11.62 14 26 5.5
OKR 38 12 20.0 26.82 25.5 25.50 31 49 11.0
ZAW 24 8 17.5 26.96 28.0 27.62 37 50 19.5

Rozszerzone statystyki wyników maturalnych uczniów szkół kategorii A

Kod Kurtoza Skrośność Odch.st. LTF UTF Shapiro.W Shapiro.p Shapiro
KIE 1.341 1.299 5.158 0.2 22.2 0.826 1.31e-03 FALSE
OKR -0.006 0.771 8.892 3.5 47.5 0.939 0.038 FALSE
ZAW -1.037 0.289 12.185 -11.8 66.2 0.958 0.397 TRUE

Porównanie wyników testem Wilcoxona

Kod1 Kod2 W p test
KIE OKR 52 1.97e-08 FALSE
OKR ZAW 465 0.902 TRUE
KIE ZAW 72 2.38e-05 FALSE

Test Shapiro-Wilka wskazuje, że tylko w przypadku szkoły o kodzie ZAW możemy uznać, że osiągnięte wyniki są normalnie dystrybuowane, chociaż charakterysują się dość niską kurtozą. Natomiast test Wilcoxona wskazuje na zbieżność rozkładów pomiędzy szkołami o kodach OKR oraz ZAW. W szkole KIE wystąpiły dwa wyniki odstające. W szkole OKR wystąpił jeden taki wynik. Poza szkołą ZAW można dopatrzeć się znów dwóch lokalnych maksimów. Co prawda w szkole KIE są one położone dość blisko siebie (po odrzuceniu wartości odstających). W szkole OKR zaś te lokalne maksima są przesunięte o wartość znacznie przekraczającą IQR. Jest więc oczywistym, że zauważone maksima w rozkładzie ogólnych wyników dla kategorii A powstały wprost z nałożenia tych trzech rozkładów.

Wyniki maturalne szkół z kategorii B

Podstawowe statystyki wyników maturalnych uczniów szkół kategorii B

Kod n Min Q1 Średnia Mediana TM Q3 Max IQR
OGL 59 12 27 34.22 35 34.88 42.5 49 15.5
OLS 78 11 25 35.42 36 36.19 47.8 50 22.8
KKO 47 23 37 41.09 44 43.00 47.0 50 10.0

Rozszerzone statystyki wyników maturalnych uczniów szkół kategorii B

Kod Kurtoza Skrośność Odch.st. LTF UTF Shapiro.W Shapiro.p Shapiro
OGL -0.952 -0.211 9.660 3.8 65.8 0.962 0.061 TRUE
OLS -1.381 -0.193 11.757 -9.1 81.9 0.907 3.13e-05 FALSE
KKO -0.364 -0.835 7.318 22.0 62.0 0.900 7.47e-04 FALSE

Porównanie wyników testem Wilcoxona

Kod1 Kod2 W p test
OGL OLS 2103.5 0.391 TRUE
OLS KKO 1424.0 0.037 FALSE
OGL KKO 800.5 1.94e-04 FALSE

Podobnie jak w poprzednich przypadkach tak i teraz, analizując gęstość rozkładu dla każdej ze szkół można się dopatrzeć dwóch lokalnych maksimów. Szczególnie wyraźnie widoczne jest to w przypadku szkoły o kodzie OLS. Warto także zauważyć, że zarówno w przypadku szkoły OGL jak i OLS dolne maksima występują poniżej progu zdawalności a wyniki charakteryzuje dość znaczna dyspersja oraz niska kurtoza. Ta zbieżność wyników, a dodatkowo nieznaczne różnice pomiędzy medianami, spowodowała iż test Wilcoxona wskazał iż wyniki osiągnięte w tych dwóch kołach mają taki sam rozkład. W przypadku szkoły KKO dyspersja jest już znacznie mniejsza jednak wyniki te obarczone są znaczną skrośnością. Drugie maksimum wystąpiło nieco powyżej progu zdawalności i w porównaniu do maksimum górnego ma znacznie mniejsza amplitudę. Niemniej jednak również tutaj ono występuje.

W przypadku tych szkół nie wystąpiły dane odstające. Za normalnie dystrybuowane można uznać jedynie dane dla szkoły OGL

Wyniki maturalne szkół z kategorii C

Podstawowe statystyki wyników maturalnych uczniów szkół kategorii C

Kod n Min Q1 Średnia Mediana TM Q3 Max IQR
OP3 51 51 60 64.24 64 64.0 68 78 8
OP2 67 34 76 84.54 90 88.5 98 100 22

Rozszerzone statystyki wyników maturalnych uczniów szkół kategorii C

Kod Kurtoza Skrośność Odch.st. LTF UTF Shapiro.W Shapiro.p Shapiro
OP3 -0.530 0.002 6.433 48 80 0.986 0.802 TRUE
OP2 0.863 -1.309 17.295 43 131 0.823 1.64e-07 FALSE

Porównanie wyników testem Wilcoxona

Kod1 Kod2 W p test
OP3 OP2 500.5 5.13e-11 FALSE

Wśród szkół kategorii C tylko w przypadku szkoły OP3 wyniki obserwacji możemy uznać za normalnie dystrybuowane. Cechuje je prawie całkowity brak skrośności oraz niewielka dyspersja. Choć jeżeli dokładnie przyjrzeć się wykresowi gęstości można dojść do wniosku, że jest to połączenie dwóch rozkładów o takiej samej średniej ale o różnych odchyleniach standardowych. Natomiast w przypadku szkoły OP2 obserwacje charakteryzują się dość znaczną skrośnością (z kilkoma odstającymi obserwacjami). Jest ona na tyle wysoka, że i tu można by uznać, iż wyniki mogą również pochodzić z dwóch nałożonych rozkładów normalnych o różnych średnich.

Wyniki maturalne w poszczególnych klasach

Wykonajmy więc szybkie porównanie wyników w poszczególnych klasach. Ze względu na niewielką liczebność pominiemy analizę statystyk a skupimy się wyłącznie na kształcie wykresów gęstości doszukując się występowania dwóch maksimów lub połączenia dwóch rozkładów o różnych odchyleniach standardowych. Aby jednak wykresy nie straciły na czytelności, na jednym wykresie przedstawiano dane dla maksymalnie czterech klas.

Podstawowe statystyki wyników maturalnych uczniów klas szkół kategorii A

Klasa n Min Q1 Średnia Mediana TM Q3 Max IQR
KIE A 22 6 8.5 12.68 12 11.62 14 26 5.5
OKR A 13 12 19.0 22.77 22 22.25 26 35 7.0
ZAW A 24 8 17.5 26.96 28 27.62 37 50 19.5
OKR B 25 16 23.0 28.92 27 27.25 32 49 9.0

Rozszerzone statystyki wyników maturalnych uczniów klas szkół kategorii A

Klasa Kurtoza Skrośność Odch.st. LTF UTF Shapiro.W Shapiro.p Shapiro
KIE A 1.341 1.299 5.158 0.2 22.2 0.826 1.31e-03 FALSE
OKR A -0.950 0.264 6.496 8.5 36.5 0.969 0.882 TRUE
ZAW A -1.037 0.289 12.185 -11.8 66.2 0.958 0.397 TRUE
OKR B -0.595 0.647 9.345 9.5 45.5 0.929 0.082 TRUE

Porównanie wyników testem Wilcoxona

Klasa1 Klasa2 W p test
KIE A OKR A 29.5 1.06e-04 FALSE
OKR A ZAW A 130.0 0.416 TRUE
ZAW A OKR B 265.0 0.49 TRUE
KIE A ZAW A 72.0 2.38e-05 FALSE
OKR A OKR B 98.0 0.049 FALSE
KIE A OKR B 22.5 7.26e-08 FALSE

Podstawowe statystyki wyników maturalnych uczniów klas szkoły KKO

Klasa n Min Q1 Średnia Mediana TM Q3 Max IQR
KKO B 19 23 31 38.42 41 39.75 46 50 15
KKO A 28 31 40 42.89 44 43.75 47 50 7

Rozszerzone statystyki wyników maturalnych uczniów klas szkoły KKO

Klasa Kurtoza Skrośność Odch.st. LTF UTF Shapiro.W Shapiro.p Shapiro
KKO B -1.483 -0.292 9.112 8.5 68.5 0.914 0.088 TRUE
KKO A -0.414 -0.760 5.245 29.5 57.5 0.914 0.025 FALSE

Porównanie wyników testem Wilcoxona

Klasa1 Klasa2 W p test
KKO B KKO A 202.5 0.171 TRUE

Podstawowe statystyki wyników maturalnych uczniów klas szkoły OGL

Klasa n Min Q1 Średnia Mediana TM Q3 Max IQR
OGL D 7 15 25.0 27.43 28.0 27.88 30.5 38 5.5
OGL C 16 12 23.2 28.06 28.0 27.81 32.0 41 8.8
OGL B 16 19 27.5 32.81 34.5 33.44 37.2 47 9.8
OGL A 20 25 41.5 42.65 45.0 44.44 46.2 49 4.8

Rozszerzone statystyki wyników maturalnych uczniów klas szkoły OGL

Klasa Kurtoza Skrośność Odch.st. LTF UTF Shapiro.W Shapiro.p Shapiro
OGL D -0.996 -0.229 7.185 16.8 38.8 0.953 0.756 TRUE
OGL C -0.791 -0.166 7.810 10.1 45.1 0.982 0.978 TRUE
OGL B -0.874 -0.093 8.207 12.9 51.9 0.955 0.572 TRUE
OGL A 0.860 -1.325 6.467 34.4 53.4 0.827 2.23e-03 FALSE

Porównanie wyników testem Wilcoxona

Klasa1 Klasa2 W p test
OGL D OGL C 53.0 0.867 TRUE
OGL C OGL B 89.5 0.152 TRUE
OGL B OGL A 55.5 8.93e-04 FALSE
OGL D OGL B 35.0 0.17 TRUE
OGL C OGL A 24.5 1.66e-05 FALSE
OGL D OGL A 8.5 6.93e-04 FALSE

Podstawowe statystyki wyników maturalnych uczniów klas szkoły OLS

Klasa n Min Q1 Średnia Mediana TM Q3 Max IQR
OLS D 19 11 22.0 30.84 29 29.88 39.5 50 17.5
OLS C 19 18 25.0 33.79 31 33.00 45.0 50 20.0
OLS B 19 17 30.5 37.63 38 38.75 48.5 50 18.0
OLS A 21 14 32.0 39.05 42 41.25 49.0 50 17.0

Rozszerzone statystyki wyników maturalnych uczniów klas szkoły OLS

Klasa Kurtoza Skrośność Odch.st. LTF UTF Shapiro.W Shapiro.p Shapiro
OLS D -1.199 0.385 12.659 -4.2 65.8 0.877 0.019 FALSE
OLS C -1.700 0.173 11.038 -5.0 75.0 0.886 0.028 FALSE
OLS B -1.234 -0.511 11.246 3.5 75.5 0.880 0.021 FALSE
OLS A -0.876 -0.718 11.115 6.5 74.5 0.866 8.08e-03 FALSE

Porównanie wyników testem Wilcoxona

Klasa1 Klasa2 W p test
OLS D OLS C 164.0 0.639 TRUE
OLS C OLS B 148.0 0.349 TRUE
OLS B OLS A 181.5 0.634 TRUE
OLS D OLS B 127.5 0.124 TRUE
OLS C OLS A 141.0 0.115 TRUE
OLS D OLS A 134.5 0.08 TRUE

Podstawowe statystyki wyników maturalnych uczniów klas A, B, D OP2

Klasa n Min Q1 Średnia Mediana TM Q3 Max IQR
OP2 B 3 68 72.0 81.33 76 78.00 88 100 16.0
OP2 D 12 82 87.5 91.00 89 90.88 98 98 10.5
OP2 A 12 74 92.5 94.50 98 97.12 100 100 7.5

Rozszerzone statystyki wyników maturalnych uczniów klas A, B, D OP2

Klasa Kurtoza Skrośność Odch.st. LTF UTF Shapiro.W Shapiro.p Shapiro
OP2 B -2.333 0.287 16.653 48.0 112.0 0.923 0.463 TRUE
OP2 D -1.693 0.048 5.939 71.8 113.8 0.876 0.077 TRUE
OP2 A 0.668 -1.335 8.096 81.2 111.2 0.743 2.27e-03 FALSE

Porównanie wyników testem Wilcoxona

Klasa1 Klasa2 W p test
OP2 B OP2 D 12.0 0.421 TRUE
OP2 D OP2 A 41.5 0.079 TRUE
OP2 B OP2 A 10.0 0.253 TRUE

Podstawowe statystyki wyników maturalnych uczniów klas E, G, H OP2

Klasa n Min Q1 Średnia Mediana TM Q3 Max IQR
OP2 H 13 34 48 58.62 54 57.50 74 82 26
OP2 G 4 58 64 72.00 69 69.75 77 92 13
OP2 E 23 66 91 93.22 96 95.25 98 100 7

Rozszerzone statystyki wyników maturalnych uczniów klas E, G, H OP2

Klasa Kurtoza Skrośność Odch.st. LTF UTF Shapiro.W Shapiro.p Shapiro
OP2 H -1.527 -0.060 16.701 9.0 113.0 0.935 0.4 TRUE
OP2 G -1.875 0.412 14.514 44.5 96.5 0.939 0.65 TRUE
OP2 E 4.377 -1.913 7.621 80.5 108.5 0.778 1.75e-04 FALSE

Porównanie wyników testem Wilcoxona

Klasa1 Klasa2 W p test
OP2 H OP2 G 15 0.234 TRUE
OP2 G OP2 E 10 0.014 FALSE
OP2 H OP2 E 5 1.94e-06 FALSE

Podstawowe statystyki wyników maturalnych uczniów klas szkoły OP3

Klasa n Min Q1 Średnia Mediana TM Q3 Max IQR
OP3 A 17 51 60 61.65 62 62.25 65 72 5
OP3 D 21 53 62 64.71 65 65.50 70 73 8
OP3 E 13 52 63 66.85 66 67.50 75 78 12

Rozszerzone statystyki wyników maturalnych uczniów klas szkoły OP3

Klasa Kurtoza Skrośność Odch.st. LTF UTF Shapiro.W Shapiro.p Shapiro
OP3 A -0.462 -0.165 5.243 52.5 72.5 0.980 0.958 TRUE
OP3 D -0.769 -0.401 5.569 50.0 82.0 0.959 0.503 TRUE
OP3 E -1.228 -0.254 8.174 45.0 93.0 0.941 0.468 TRUE

Porównanie wyników testem Wilcoxona

Klasa1 Klasa2 W p test
OP3 A OP3 D 118.5 0.08 TRUE
OP3 D OP3 E 110.5 0.364 TRUE
OP3 A OP3 E 62.5 0.046 FALSE

Analizując powyższe kilka wykresów nie można się pozbyć wrażenia, iż w przypadku większości klas wykres gęstości powstał w wyniku nałożeniu się dwóch rozkładów normalnych. Czasami wartości centralne tych rozkładów są przesunięte, czasami nachodzą na siebie. Oczywiście należy brać pod uwagę niewielkie liczności tych grup. Co może być powodem uzyskiwania takich wyników? W naszym odczuciu należało by założyć, że każda klasa składa się z uczniów zdolnych i przeciętnych. Wyniki uzyskiwane przez te dwie populacje mają różne wartości centralne choć powinny być zgodne z rozkładem normalnym. Tak więc sumarycznie osiągamy zawsze połączenie dwóch rozkładów normalnych. Oczywiście to tylko luźna hipoteza wymagająca dokładniejszego zbadania odpowiednimi narzędziami statystycznymi. Możliwość rozdzielenia tych obserwacji na te dwie wspomniane wyżej kategorie wydaje się bardzo obiecująca. To jednak z pewnością jest temat na koleją pracę i w tym opracowaniu zostanie pominięte.

Analiza wyników testu diagnostycznego

Kilka miesięcy przed maturą w każdej z badanych szkóŁ przeprowadzono test diagnostyczny umiejętności uczniów. Porównajmy zatem wyniki testu z wynikami matur. … [Tomek uzupełni] …

W teście tym uczeń mógł otrzymać maksymalnie 22, punkty przy progu sukcesu wynoszącym 8 punktów. Aby umożliwić bezpośrednie porównanie tych wyników z wynikami matur, wyniki testu zostały odpowiednio przeskalowane do zakresu 0-100. Oczywiście również próg musiał zostać przeskalowany co spowodowało, że różni się on od progu maturalnego i wynosi 36.4. Będzie to uwzględnione na wszystkich wykresach na których przedstawiono przeskalowane wyniki.

Wyniki testu diagnostycznego w badanych szkołach

Podstawowe statystyki wszystkich wyników testu diagnostycznego w ośmiu szkołach

n Min Q1 Średnia Mediana TM Q3 Max IQR
392 4.5 36.4 56.68 59.1 57.97 77.3 100 40.9

Rozszerzone statystyki wszystkich wyników testu diagnostycznego w ośmiu szkołach

n Kurtoza Skrośność Odch.st. LTF UTF Shapiro.W Shapiro.p Shapiro
392 -1.159 -0.116 25.3 -24.9 138.65 1 2.53e-09 FALSE

Porównajmy to od razu z wynikami maturalnymi. Najlepiej przestawić to na jednym wykresie.

Wystarczy jeden rzut oka na powyższy wykres aby uzmysłowić sobie, jak bardzo różnią się te dwie zmienne. Jedyną cechą wspólną jest to, że zarówno w jednym jak i w drugim przypadku dane te nie są normalnie dystrybuowane, o czym kolejny raz przekonuje nas wynik testu Shapiro-Wilka. Poza tym są to zdecydowanie różne wyniki. Szczególnie widoczne staje się to podczas porównania wykresów gęstości. W przypadku matur na wykresie gęstości można zauważyć co najmniej trzy lokalne maksima - jedno w okolicy progu zdawalności, drugie nieco powyżej tego progu i trzecie wysoko, tuż przed maksymalnym możliwym wynikiem. W przypadku wyników testu można również dopatrzeć się trzech lokalnych maksimów. Jeżeli pierwsze pokrywa się z pierwszym maksimum występującym w wykresie matur, to drugie maksimum jest już nieco wyżej a trzecie wystąpiło w miejscu gdzie wykres wyników maturalnych ma lokalne minimum. Oczywiście widać tu również różnicę w medianach. Mediana wyników testu praktycznie zrównała się z trzecim kwartylem wyników maturalnych. Wyniki testu charakteryzują się także prawie siedmiokrotnie niższą skrośnością. Nieznaczna różnica pomiędzy medianą, średnią i trimeanem wyników testu świadczy również o tej niewielkiej skrośności. Warto także zauważyć, że pierwszy kwartyl tych wyników uplasował się dokładnie na poziomie progu zdawalności, czego nie można powiedzieć w odniesieniu do wyników maturalnych, gdzie pierwszy kwartyl jest nieco poniżej progu zdawalności. Choć w zasadzie ilość uczniów zaliczających sukces w obu przypadkach była bardzo podobna.

Wyniki testu diagnostycznego w poszczególnych kategoriach szkół

Sprawdźmy zatem jak wyniki testu diagnostycznego rozkładały się pomiędzy poszczególnymi kategoriami szkół.

Podstawowe statystyki wyników testu diagnostycznego uczniów według kategorii szkół

Kat. n Min Q1 Średnia Mediana TM Q3 Max IQR
A 87 4.5 22.7 36.63 31.8 34.08 50.0 90.9 27.3
B 187 4.5 40.9 57.39 59.1 59.10 77.3 100.0 36.4
C 118 13.6 54.5 70.35 77.3 73.88 86.4 100.0 31.9

Rozszerzone statystyki wyników testu diagnostycznego uczniów według kategorii szkół

Kat. Kurtoza Skrośność Odch.st. LTF UTF Shapiro.W Shapiro.p Shapiro
A -0.602 0.589 19.958 -18.3 91.0 0.939 5.05e-04 FALSE
B -1.042 -0.157 23.448 -13.7 131.9 0.964 9.68e-05 FALSE
C -0.599 -0.661 21.923 6.6 134.2 0.924 5.04e-06 FALSE

Porównanie wyników testem Wilcoxona

Kat.1 Kat.2 W p test
A B 4078.5 2.86e-11 FALSE
B C 7428.0 1.48e-06 FALSE
A C 1423.5 8.85e-19 FALSE

To co najbardziej może zaskakiwać to prawie lustrzane odbicie wykresów w kategoriach A oraz C. Ma to też odzwierciedlenie w wartościach skrośności które różnią się w zasadzie tylko znakiem. Niezmiennie, żadnych z wyników nie można uznać za normalnie dystrybuowane. Ponadto test Wilcoxona, na założonym poziomie istotności twierdzi, że są to trzy różne wyniki. Dodajmy zatem do tych wyników wyniki maturalne i porównajmy je pomiędzy sobą.

Dopiero po zestawieniu tych dwóch wyników na jednym wykresie możemy sobie uzmysłowić, jak bardzo różnią się one między sobą. Po pierwsze, w każdej kategorii mediany wyników testu zawsze są wyższe od median wyników maturalnych. Po drugie wyniki testu, w odróżnieniu od wyników maturalnych mają bardzo podobny zakres rozciągający się praktycznie w całej szerokości możliwych wyników. Tymczasem wyniki maturalne w kategoriach A i B rozciągają się tylko w połowie możliwego zakresu. Z kolei w przypadku kategorii C warto zauważyć, że wszystkie wyniki są powyżej progu zdawalności, gdy tymczasem test zdało tylko 89% uczniów.

Dokonajmy więc jeszcze jednego porównania pomiędzy wynikami szkół w poszczególnych kategoriach.

Wyniki testu diagnostycznego w szkołach dla poszczególnych kategorii

Wyniki testu diagnostycznego w szkołach kategorii A

Podstawowe statystyki wyników testu diagnostycznego uczniów szkół kategorii A

Kod n Min Q1 Średnia Mediana TM Q3 Max IQR
KIE 22 4.5 9.1 17.56 18.2 17.05 22.7 36.4 13.6
OKR 40 18.2 27.3 44.77 40.9 43.17 63.6 90.9 36.3
ZAW 25 18.2 27.3 40.37 36.4 37.52 50.0 81.8 22.7

Rozszerzone statystyki wyników testu diagnostycznego uczniów szkół kategorii A

Kod Kurtoza Skrośność Odch.st. LTF UTF Shapiro.W Shapiro.p Shapiro
KIE -0.848 0.473 8.575 -11.3 43.1 0.932 0.138 TRUE
OKR -1.032 0.348 18.593 -27.1 118.0 0.917 6.02e-03 FALSE
ZAW -0.650 0.677 18.520 -6.7 84.0 0.911 0.032 FALSE

Porównanie wyników testem Wilcoxona

Kod1 Kod2 W p test
KIE OKR 70.5 4.84e-08 FALSE
OKR ZAW 567.5 0.364 TRUE
KIE ZAW 62.0 5.19e-06 FALSE

Jak widać na powyższym wykresie tendencja zauważona już wcześniej nadal występuje. Mediany w każdym z trzech szkół są w przypadku wyników z testu wyższe niż mediany matur. Chyba tylko jako jedyną cechę wspólną, można wskazać brak przekroczenia progu zdawalności w szkole o kodzie KIE.

Wyniki testu diagnostycznego w szkołach kategorii B

Podstawowe statystyki wyników testu diagnostycznego uczniów szkół kategorii B

Kod n Min Q1 Średnia Mediana TM Q3 Max IQR
OGL 61 4.5 31.8 51.34 50.0 51.12 72.7 95.5 40.9
OLS 78 4.5 31.8 54.66 54.5 54.53 77.3 100.0 45.5
KKO 48 36.4 53.4 69.52 72.7 70.43 82.9 95.5 29.6

Rozszerzone statystyki wyników testu diagnostycznego uczniów szkół kategorii B

Kod Kurtoza Skrośność Odch.st. LTF UTF Shapiro.W Shapiro.p Shapiro
OGL -0.984 0.048 22.308 -29.6 134.1 0.971 0.151 TRUE
OLS -1.255 -0.014 24.922 -36.5 145.6 0.954 6.4e-03 FALSE
KKO -1.150 -0.245 17.691 9.0 127.3 0.927 5.38e-03 FALSE

Porównanie wyników testem Wilcoxona

Kod1 Kod2 W p test
OGL OLS 2207.5 0.467 TRUE
OLS KKO 1224.0 1.12e-03 FALSE
OGL KKO 796.0 4.39e-05 FALSE

Ponownie, wszystkie wyniki median testu są wyższe, a nawet znacznie wyższe od median wyników matur. Jeżeli mieli byśmy wskazać na jakąkolwiek zbieżność, to zarówno w przypadku wyników testu jak i w przypadku wyników z matur test Wilcoxona wskazał na brak istotnych różnic pomiędzy szkołami o kodach OGL oraz OLS.

Warto także zwrócić uwagę na ponowne pojawienie się dwóch, wyraźnych maksimów na każdym wykresie gęstości podobnie jak to zauważyliśmy w przypadku wyników maturalnych.

Wyniki testu diagnostycznego w szkołach kategorii C

Podstawowe statystyki wyników testu diagnostycznego uczniów szkół kategorii C

Kod n Min Q1 Średnia Mediana TM Q3 Max IQR
OP3 51 27.3 56.8 74.25 81.8 77.82 90.9 100.0 34.1
OP2 67 13.6 52.2 67.38 77.3 73.31 86.4 95.5 34.2

Rozszerzone statystyki wyników testu diagnostycznego uczniów szkół kategorii C

Kod Kurtoza Skrośność Odch.st. LTF UTF Shapiro.W Shapiro.p Shapiro
OP3 -0.973 -0.525 20.743 5.6 142.1 0.908 7.83e-04 FALSE
OP2 -0.669 -0.707 22.479 1.0 137.6 0.907 1.09e-04 FALSE

Porównanie wyników testem Wilcoxona

Kod1 Kod2 W p test
OP3 OP2 2050.5 0.063 TRUE

Tym razem mamy bardzo ciekawą sytuację. W przypadku wyników matur test Wilcoxona wskazywał, że mamy do czynienia z dwoma różnymi rozkładami. W przypadku wyników testu, jeden rzut oka na box-ploty potwierdza nam brak istotnych różnic pomiędzy szkołą OP3 a szkołą OP2, o czym test Wilcoxona tylko nas upewnia.Warto też zauważyć prawie identyczny kształt wykresów gęstości dla obu tych szkół, co jest trzecim, bardzo dobrym potwierdzeniem, że szkoły te w teście osiągnęły taki sam wynik z nieznacznym wskazaniem na nieco gorszy wynik w przypadku szkoły OP2, której cały rozkład jest minimalnie przesunięty ku dołowi. Zaskakujące jest natomiast, jeżeli zestawimy te wyniki z wynikami matur. W tamtym przypadku, mieliśmy dwa zdecydowanie różne rozkłady z bardzo wyraźną dominacją szkoły OP2. Warto także zauważyć, że w przypadku testu, w obu tych szkołach były osoby które go nie zaliczyły. W przypadku matur sukces osiągnęło 100% uczniów zarówno OP2 jak i OP3.

Co może być powodem tak ogromnych różnic pomiędzy wynikami matur a wynikami testu diagnostycznego? Na to pytanie spróbuje odpowiedzieć Pan Tomasz Szwed.

…

[Do uzupełnienia przez Tomka]

…

  1. Tukey, John W (1977). Exploratory Data Analysis. Addison-Wesley. ISBN 978-0-201-07616-5. OCLC 3058187↩

  2. Hyndman, RJ i Fan, Y. (1996) Przykładowe kwantyle w pakietach statystycznych, American Statistician 50 , 361–365. 10.2307 / 2684934.↩