"Assessments Through the Learning Process. Question mark "

Oceny w procesie uczenia się. Znak zapytania.

W publikacji Assessments Through the Learning Process analizie poddano to, w jaki sposób instruktorzy i organizacje mogą wykorzystywać oceny do ulepszania procesu uczenia się. Wskazano na różne rodzaje podejść do oceniania i zastosowania narzędzi oceny. Publikacja pozwala uporządkować wiedzę dotyczącą powszechnie wykorzystywanych ocen, quizów, ankiet, testów i egzaminów.
Publikacja skupia się jedynie na ocenach związanych z procesem uczenia się (oceny mają zastosowanie np. w procesie rekrtutacji).
Autorzy podkreślają wagę ocen w procesie projektowania i realizacji usługi edukacyjnej. Bez względu na to w jakiej formie jest realizowane uczenie się, bardzo ważne jest, aby zrozumieć to, w jaki sposób ludzie się uczą oraz mieć wiedzę o tym, w jaki sposób stwierdzić czego się nauczyli i czy ta wiedza lub umiejętności są przydatna w ich konkretnej roli. Zdaniem autorów podstawą opracowania udanych materiałów edukacyjnych, szkoleniowych i certyfikacyjnych jest efektywne wykorzystanie ocen. Uważają, że doświadczenia związane z nauką są lepsze, gdy obejmują one praktykę identyfikowania i weryfikowania postępów, którą zapewniają quizy, testy i inne oceny. Dobrze przygotowane oceny mogą zwiększać jakość doświadczeń edukacyjnych, przyśpieszać uczenie się i zredukować zapominanie. Potwierdzanie umiejętności, wiedzy i postawy prowadzi do większej motywacji uczących się dając im poczucie osiągnięć.

W publikacji dokonano rozróżnienia rodzajów i stylów dokonywania oceny. Wskazano na sposoby opracowywania skutecznych metod i narzędzi oceny. Wskazano też jak należy analizować wyniki ocen pod kątem ich rzetelności i trafności.
Definicja oceny zastosowana na potrzeby tej publikacji to: dowolna systematyczna metoda uzyskiwania dowodów poprzez zadawanie pytań w celu wyciągnięcia wniosków na temat wiedzy, umiejętności, postaw i innych cech ludzi w określonym celu.

Podzielono oceny na pięć głównych celów lub zastosowań:

a) Ocena diagnostyczna mająca na celu zmierzenie wiedzy lub umiejętności uczącego się w celu poinformowania uczących się lub edukatora o obecnym poziomie wiedzy lub umiejętności.
b) Ocena kształtująca stosowana do pomiaru wiedzy lub umiejętności uczącego się w celu dostarczenia informacji zwrotnej, aby poinformować uczącego się o jego aktualnym poziomie wiedzy lub umiejętności.
c) Ocena badająca potrzeby. Ocena używana do określenia wiedzy, umiejętności, zdolności i postaw grupy, aby pomóc w analizie luk i opracowywaniu zajęć. Analiza luk określa rozbieżność między tym, co uczący się wie, a tym, co musi wiedzieć.
d) Ocena reakcji. Ocena używana do określenia poziomu zadowolenia z doświadczenia oceny uczenia się. Oceny te są często nazywane ocenami poziomu pierwszego (Kirkpatrick), są realizowane po zakończeniu lub certyfikacji.
e) Ocena podsumowująca. Stosowana do pomiaru wiedzy lub umiejętności uczącego się. Zwykle ilościowa, której głównym celem jest wystawienie ostatecznej oceny i/lub dokonanie oceny osiągnięć uczestnika. Jeżeli wynik zweryfikuje, że uczestnik spełnił ustalony standard, rezultatem może być np. kwalifikacja/certyfikat.

Autorzy wskazują na czynniki określające tzw. stawkę oceny:

1. Wysokie lub niskie konsekwencje, które wynikają z oceny
2. Możliwe kierunki i cele decyzji podejmowanych w oparciu o wyniki
3. Możliwe opcje postępowania dla uczestników
4. Motywacja do oszukiwania
5. Identyfikacja wyników oceny
6. Potrzeba nadzoru i kontroli oceny
7. Wysiłek rozwojowy
8. Sprawdzenie wiarygodności i ważności wyników

Autorzy wskazują na to, że potencjalny wysiłek związany z tworzeniem oceny będzie skorelowany ze stawką oceny. Stawka wpłynie również na zastosowane metody i narzędzia oceny. Zróżnicuje się również przydatność poszczególnych form oceny (egzamin, test, quiz, badanie) w zależności od celu ich zastosowania. Np. quizy sprawdzą się szczególnie do oceny kształtującej a test do oceny diagnostycznej.

W rzeczywistości zawodowej i środowisku uczenia się autorzy wskazują szereg zastosowań ocen. Przykładowo:

Ankiety poziomu 1 jako oceny zajęć. Szczegółowe oceny mające na celu uzyskanie informacji zwrotnej od uczestników na temat ich aktywności edukacyjnej. Ankiety poziomu 1 są również nazywane ocenami zadowolenia (satysfakcji) z zajęć.

Ankiety dotyczące analizy potrzeb. Są dawane grupie w celu wyraźnego określenia obszarów, o których chcą dowiedzieć się więcej lub gdzie ich wiedza jest słaba, w celu zapewnienia oferty edukacyjnej odpowiadającej tym potrzebom.

Ankiety do analizy zadań zawodowych. Są dawane grupie osób wykonujących daną pracę, aby określić, jakie zadania wykonują, jak regularnie je wykonują oraz jakie znaczenie mają zadania dla ich roli.

360 (Poziom 3 Kirkpatricka)
Ankiety mające na celu zmierzenie, czy dane zachowanie zmieniło się w pracy, zwykle dostarczane współpracownikom w formie ankiety 360/180. Często dane są agregowane w celu określenia skuteczności działań edukacyjnych.

Ankiety 360 stopni (oceny pracowników)
Informacje zebrane na podstawie czyjejś samooceny i oceny przez współpracowników (oraz, w stosownych przypadkach, przełożonych i podwładnych) w celu uzyskania informacji np. o tym, jak dana osoba może się poprawić.

Quizy realizowane w trakcie nauki. Są zwykle używane na końcu lub w pośrednich momentach zajęć. Zwykle wyniki nie są gromadzone ani przechowywane.

Testy praktyczne. Wersje ćwiczeniowe stosowane w egzaminach, zaadaptowane do celów ćwiczeniowych.

Pre-testy. Ocena diagnostyczna przed konkretną czynnością edukacyjną. Mogą stanowić punkt odniesienia dla porównania z testem po ukończeniu kursu, mogą stanowić warunek wstępny i zapewnić prowadzącym informacje na temat umiejętności uczących się „na wejściu”. Używane również do zwiększenia świadomości i zainteresowania uczących się obszarami do rozwoju.

Testy kwalifikacyjne. Używane jako źródło wiedzy dla prawidłowych działań rozwojowych.
Stosowana w celu dedykowania uczącym się udziału np. w określonym kursie lub aktywności edukacyjnej. Ma element podsumowujący, ale jego głównym celem jest diagnozowanie i rekomendacja.

Narzędzia autodiagnostyczne. Ocena, która zadaje pytania nieoceniające i daje uczestnikowi informację zwrotną w celu przedstawienia rekomendacji dot. np. zajęć edukacyjnych. Ocena pozwala na usystematyzowanie i doprecyzowanie oczekiwań rozwojowych.

Autorzy podkreślają wagę rzetelności i trafności ocen. Ocena jest wiarygodna (rzetelna), gdy konsekwentnie mierzy to samo. Np. wyniki mierzone w odstępie czasu są takie same (rzetelność test-retest), wyniki mierzone przez niezależne osoby są takie same (rzetelność między oceniającymi). Ocena jest prawidłowa, jeśli mierzy to, co ma mierzyć (rzetelność treści). Oddzielnym kryterium testów jest trafność, czyli na ile wyniki odzwierciedlają rzeczywistość, którą mają mierzyć np. czy przyjęty opis wymagań kompetencyjnych dotyczy danej pracy.

Autorzy wskazują na rolę ocen w projektowaniu skutecznych procesów rozwojowych. Począwszy od precyzyjnej definicji celów (jaki stan chcemy zmienić? Co muszą zmienić uczący się aby to osiągnąć?) przez określenie wymaganej wiedzy i umiejętności (Jaka wiedza i umiejętności są wymagane do osiągnięcia celów?) po zaprojektowanie i realizację działań rozwojowych (doświadczenia edukacyjne) i ich wdrożenie w praktykę potrzebne jest uwzględnienie narzędzi i metod oceny poprze min.:

a) Ocenę potrzeb uczenia się lub analizę dotyczącą luki w umiejętnościach związanych z celami uczenia się ,
b) Ocenę przed uczeniem się (diagnostyka, analiza potrzeb),
c) Ocenę w trakcie trwania działań rozwojowych (kształtujące, podsumowujące),
d) Ocenę po realizacji działań rozwojowych (ocena reakcji, ocena podsumowujące),
e) Ocenę osiągnięcia celów (walidacja, egzamin),
f) Ocenę wdrożenia efektów uczenia się (ewaluacja) .