Test Osiągnięć Szkolnych (TOS3)

Instrukcja
Uczniowie rozwiązują zeszyty testowe w warunkach badania audytoryjnego, w formie papierowej. Każdy zeszyt zawiera zestaw zadań dotyczących określonych umiejętności. Na rozwiązanie jednego zeszytu przewidziano 35 minut.

Pozycje narzędzia
TOS3 składa się z trzech odrębnych testów:
a) test umiejętności czytania (51 zadań),
b) test świadomości językowej (45 zadań),
c) test umiejętności matematycznych (53 zadania).

Każdy test ma dwie równoległe wersje z zadaniami kotwiczącymi, co umożliwia porównywanie wyników. Nie wyodrębniono formalnych podskal punktowych, lecz zadania reprezentują różne obszary treści i typy umiejętności.

Specyfikacja skali odpowiedzi
Zadania mają formę zamkniętą i otwartą. Oceniane są dychotomicznie (0/1) lub w modelu partial credit (0–1–2), w zależności od zadania.

TOS3 służy do diagnozy osiągnięć szkolnych uczniów kończących edukację wczesnoszkolną. Stosowany jest w badaniach naukowych i ewaluacyjnych (SUEK, EWD). Narzędzie nie jest przeznaczone do indywidualnej diagnozy klinicznej i wymaga kompetencji psychometrycznych przy analizie wyników.

Czytanie rozumiane jest jako zdolność do wyszukiwania informacji, interpretacji tekstu oraz refleksji nad jego treścią. Świadomość językowa obejmuje słownictwo, poprawność językową i umiejętność konstruowania wypowiedzi. Matematyka mierzy zarówno odtwarzanie wiedzy, jak i rozumowanie oraz rozwiązywanie problemów.

Na etapie projektowania narzędzi szczegółowo określono treści i umiejętności definiujące badane konstrukty. Podczas tego etapu skupiono się na analizie podstawy programowej kształcenia ogólnego, założeniach krajowych, międzynarodowych i zagranicznych badań umiejętności oraz na analizie wniosków płynących z projektu poświęconego nowej formule sprawdzianu dla klasy VI4. Opracowana koncepcja skal była przedmiotem konsultacji merytorycznych z ekspertami oraz została poddana zewnętrznej recenzji. Na podstawie koncepcji skal pomiarowych przygotowano plany testów, precyzujące, ile zadań mierzących poszczególne umiejętności szczegółowe powinno znaleźć się w teście.

Zadania zostały stworzone przez specjalnie dobraną grupę autorów, których rekrutacja odbywała się na podstawie próbek przygotowanych zgodnie z wytycznymi. Najlepiej ocenieni kandydaci zostali zaproszeni do dalszej współpracy i tworzyli zadania obejmujące szeroki zakres trudności oraz określone treści i umiejętności. Wszystkie zadania były na bieżąco recenzowane i poprawiane. Następnie poddano je dodatkowej ocenie podczas warsztatów z udziałem ekspertów z różnych dziedzin. Ostatecznym etapem była obróbka graficzna i skład. Na potrzeby pilotażu przygotowano łącznie 823 zadania tworzące trzy skale pomiarowe.

Na decyzję o włączeniu zadań do ostatecznej wersji narzędzia wpływały ich dopasowanie do modelu, oceniane za pomocą miar infit oraz outfit, trudność, jakość dystraktorów oraz wyniki analiz DIF ze względu na etap kształcenia i płeć. Odrzucano zadania zbyt łatwe lub zbyt trudne oraz takie, których dystraktory nie działały zgodnie z założeniami (np. były „martwe” lub nie różnicowały uczniów). Usuwano również zadania wykazujące nieuzasadnione zróżnicowane funkcjonowanie między grupami, jeśli można je było powiązać z treścią lub formą zadania. W wyniku wieloetapowej selekcji wyłoniono 74 zadania do pomiaru czytania, 123 do świadomości językowej oraz 181 do matematyki, które posłużyły do skonstruowania pierwszej wersji testów TOS3 wykorzystanych w badaniu SUEK.

Rzetelność:

Na podstawie analizy krzywych informacyjnych z modelu IRT należy stwierdzić, że testy są dobrze dopasowane do rozkładu umiejętności uczniów w populacji i oferują pomiar umiejętności z dobrym poziomem precyzji w zakresie od - 2 do + 2 odchylenia standardowego, gdzie mieści się około 95% populacji. Stopień dopasowania testów waha się jednak dla poszczególnych umiejętności. Test czytania okazał się trochę za łatwy w stosunku do poziomu uczniów badanych. Wskazuje to na problemy związane z pozyskaniem zadań o wyższej trudności na etapie konstrukcji testu. Test świadomości językowej z kolei posiada zdecydowanie mniej zadań niż matematyczny czy wspomniany test czytania – stąd maksimum jego funkcji informacyjnej jest niższe niż dwóch pozostałych narzędzi, jednakże charakteryzuje się porównywalną do testu z matematyki precyzją pomiaru uczniów zdolnych.

Rzetelność testów oszacowano dodatkowo za pomocą współczynnika EAP/PV, który komunikuje precyzję, z jaką dokonano oszacowania umiejętności uczniów. Wartości współczynników są wysokie dla wszystkich trzech testów: umiejętności matematyczne = 0,876; umiejętności czytania = 0,858; świadomość językowa = 0,849.

Trafność:

Trafność zbieżna testów TOS3 została określona poprzez ich korelację z Testem Matryc Ravena (inteligencja płynna), ocenami szkolnymi z języka polskiego i matematyki, a także wynikami z testów Ogólnopolskiego Badania Umiejętności Trzecioklasistów (OBUT).

Wyniki testów osiągnięć wykazują umiarkowane do silnych korelacji z Testem Matryc Ravena, który mierzy inteligencję płynną: Czytanie: r=0,565, Świadomość językowa: r=0,622, Matematyka: r=0,691. Najsilniejszy związek występuje dla testu matematycznego.

Zaobserwowano umiarkowanie silne, pozytywne związki między nauczycielskimi ocenami a wynikami testów z danych przedmiotów (ok. 50–55% wariancji wyników testów można wyjaśnić za pomocą informacji o ocenie udzielonej przez nauczyciela z danego obszaru wiedzy). Dodatkowym potwierdzeniem jest silniejsza relacja dla odpowiadających sobie przedmiotów (np. między wynikiem testu z matematyki a nauczycielską oceną umiejętności matematycznych ucznia), niż dla różnych przedmiotów. Oczywiście krzyżowe relacje także występują z uwagi na to, że osiągnięcia szkolne z języka polskiego i matematyki są ze sobą powiązane.

Ostatnim kryterium były wyniki uczniów z testu z języka polskiego i matematyki uzyskane w badaniu OBUT. Otrzymany wzorzec korelacji jest zgodny z założeniami: uzyskano silniejszy związek wyników testu z języka polskiego z badania OBUT z wynikami testu umiejętności czytania i świadomości językowej wykorzystanymi w badaniu SUEK (ok. 0,7), niż z wynikami z testu umiejętności matematycznych (ok. 0,6). Test z matematyki z badania OBUT także silniej koreluje ze skalą umiejętności matematycznych z testów z badania SUEK (ok. 0,7) niż ze skalami umiejętności językowych (ok. 0,6).

Jasińska, A., & Modzelewski, M. (2014). Testy osiągnięć szkolnych TOS3: przykład narzędzia skonstruowanego z wykorzystaniem modelu Rascha. Edukacja, 2(127), 85–107.