W ostatnich latach [w jakich latach?] Odradza się zainteresowanie autentyczną oceną w świecie pomiarów i ewaluacji . W amerykańskiej literaturze specjalistycznej podejście to można znaleźć pod nagłówkami: autentyczna ocena , autentyczna ocena i ocena oparta na wynikach .
W kontekście tej krótkiej pracy postaramy się zdefiniować, co oznacza Autentyczna Ocena. Podamy kilka przykładów zastosowania w szkoleniach ogólnych i specjalistycznych. Poruszymy kilka kwestii związanych z tą metodą wyceny. Na koniec za pomocą kilku konkretnych przypadków zilustrujemy, w jaki sposób Dyrekcja Generalna ds. Szkoleń Zawodowych i Technicznych Quebecu wykorzystuje ocenę praktyczną do poświadczania kompetencji swoich uczniów. Te praktyczne oceny są bardzo zbliżone do autentycznej oceny zalecanej przez Granta Wigginsa .
Według Granta Wigginsa, uczonego i reformisty:
„ Ocenianie jest autentyczne, gdy bezpośrednio bada wyniki uczniów w wykonywaniu wartościowych zadań intelektualnych. Natomiast tradycyjna ocena opiera się na pośrednich pozycjach zastępczych - wydajnych, uproszczonych substytutach, z których, jak sądzimy, można wyciągnąć prawidłowe wnioski na temat wyników ucznia w tych cennych wyzwaniach. " trad. : „Ocenianie jest autentyczne, gdy bezpośrednio bada wyniki uczniów w zakresie przydatnych zadań intelektualnych. Dla porównania, tradycyjna ocena opiera się na pośrednio powiązanych elementach - skutecznych i uproszczonych substancjach zastępczych, które, jak się uważa, są w stanie wyciągnąć odpowiednie wnioski z wyników ucznia w odniesieniu do tych szacowanych wyzwań. "Według niego, uczeń może wykazać poprzez autentyczną ocenę swoje opanowanie umiejętności, używając ich w jak najbardziej realnym otoczeniu. Tradycyjne egzaminy są jedynie sposobem na pokazanie, że student pamięta fragmenty informacji lub że potrafi mechanicznie stosować techniki.
„ Ważność testu powinna częściowo zależeć od tego, czy stymuluje on testy umiejętności w świecie rzeczywistym. Ważność większości testów wielokrotnego wyboru jest określana po prostu poprzez dopasowanie elementów do treści programu nauczania. ”. Trad. „Powodzenie testów powinno częściowo zależeć od stymulowania możliwości wdrożonych w świecie rzeczywistym. O powodzeniu większości quizów wielokrotnego wyboru decyduje raczej umiejętność dopasowania elementów do treści programu nauczania. "Według Janine Huot: zadanie oparte na wynikach składa się z czynności, która wymaga wykazania przez uczących się umiejętności integrowania i wykorzystywania swojej wiedzy, know-how i oceny w autentycznym kontekście. Takie zadanie ma co najmniej jedną z następujących cech:
Autentyczna ocena jest stosowana w dziedzinach zawodowych od bardzo dawna. Możemy pomyśleć o prawie i notariuszach, których kształciła praktyka i które były oceniane przez komisję egzaminacyjną. Autentyczna ocena jest stosowana przez Stany Zjednoczone, Wielką Brytanię i Kanadę przy wydawaniu dyplomów oficerskich.
Kurs Canadian Armed Forces Officer Candidate School wykorzystuje autentyczną ocenę do testowania umiejętności przywódczych. Oficerowi podchorążemu rozkazano zabrać dwóch rebeliantów z Armii Wyzwolenia Ontario na drodze ponad 15 kilometrów od bazy wojskowej. W tym celu kieruje zespołem 6 żołnierzy. Zapewniamy samochód ciężarowy z kierowcą oraz cały niezbędny sprzęt wojskowy. W trakcie operacji działania podchorążego są weryfikowane przez sierżanta lub chorążego, który je metodycznie ocenia. Badamy, jak planuje operację i jak wydawać rozkazy swoim podwładnym. Przygotowujemy całościową ocenę całej operacji. Obserwator będzie interweniował tylko wtedy, gdy zagrożone jest życie uczestników lub jeśli istnieje ryzyko zniszczenia materiału.
Aby operacja była bardziej realistyczna, rebelianci mogą oprzeć się aresztowaniu lub członek drużyny może nagle umrzeć. Oceny członków zawodu lekarza dokonuje się również na podstawie autentycznej oceny. W momencie, gdy stażysta znajduje się przy łóżku pseudopacjenta i zadaje mu pytania, ten ostatni może umrzeć bez ostrzeżenia. Inscenizację można również wykonać za pomocą modelu komputerowego.
Po każdym teście następuje odprawa ze sternikiem, podczas której cała operacja zostanie poddana przeglądowi. Metoda ta pozwala władzom wojskowym na jednoczesną ocenę formatywną wiedzy kandydatów. Zestawiając sprawozdania, władze sporządzają sumaryczną ocenę wyników poszczególnych osób.
Ta metoda oceny szanuje trafność i wiarygodność. Ważność testu lub egzaminu można zdefiniować jako ogólną ocenę, opartą na dowodach empirycznych i przesłankach teoretycznych, adekwatności i poprawności wniosków i działań wynikających z wyników testów. Precyzja jest definiowana jako jakość posiadana przez instrument, który ma być mierzony z tą samą dokładnością za każdym razem, gdy jest podawany. Ministerstwo Edukacji Quebecu (MEQ) uważa wierność za jakość przyrządu pomiarowego, którego wyniki pozostają stabilne dla tych samych przedmiotów, którzy są w identycznych warunkach podczas różnych administracji.
W przypadku kursów dla kandydatów na oficerów trafność oceny zapewnia korelacja treści prowadzonych kursów z ocenianymi umiejętnościami. Wiarygodność osób oceniających jest wspierana przez przygotowanie kursu, który muszą przejść wszyscy recenzenci.
W dziedzinie ogólnokształcących szkół średnich Guillermo Solano-Flores i Richard J. Shavelson podają kilka przykładów stosowania autentycznej oceny. Doświadczenie Day Astronomy polega na odtworzeniu za pomocą ziemskiej kuli ziemskiej, latarki i pudełka, cieni tworzonych przez słońce od świtu do zmierzchu.
W takim przypadku ocena pojedynczej umiejętności wymaga czasem kłopotliwego materiału. Jeden z tych eksperymentów pozwala zweryfikować tylko jeden cel. Dlatego musimy odłożyć na bok inne cele.
Samuel Messick z Educational Testing Service twierdzi, że istnieją dwa standardy oceniania umiejętności. Pierwszy typ to standard treści odnoszący się do tego, co student powinien wiedzieć i umieć zrobić w określonym temacie. Drugi typ dotyczy standardu wykonania, który wskazuje stopień kompetencji, jaki student musi osiągnąć w danym czasie. Dla niego spektakl musi odzwierciedlać złożoność konstrukcji, a nie złożoność wydarzenia. Chcemy zweryfikować zdolność studenta do przełożenia na praktykę tego, czego się nauczył w sposób teoretyczny.
Messick widzi konflikt między czasem potrzebnym na dokonanie autentycznej oceny a potrzebą oceny całego materiału, którego się nauczył. Autentyczny test zajmuje dużo czasu i niewiele daje. Twierdzi, że tego rodzaju męka może mieć niekorzystne konsekwencje dla ucznia. Mogą nie czuć się komfortowo w obsłudze instrumentów, ale dobrze rozumieją koncepcje, których potrzebują.
Firma Solano-Flores podnosi pewne problemy związane z przeprowadzaniem niektórych testów. Zwraca uwagę, że montaż i demontaż sprzętu może trwać tak długo, że przeprowadzenie testów staje się prawie niemożliwe. Użycie materiałów, które zostaną zniszczone podczas prawdziwej oceny, staje się kosztowne. Instytucje mogą wtedy używać tańszych, ale gorszych materiałów. Słaba jakość materiałów wprowadza wtedy błędy pomiarowe i zniekształca ostateczne wyniki. Podkreśla również problem lojalności między różnymi oceniającymi. Dla niego bardzo ważne jest przeszkolenie asesorów, aby ich ocena była ogólnie ujednolicona.
Zdaniem Berta F. Greena z Johns Hopkins University, jeśli władze szkolne chcą mieć możliwość porównania autentycznych wyników ocen z roku na rok, ważne jest, aby zapewnić możliwość porównania wyników. Zmiany w zarządzaniu testami powodują trudności w porównaniu. Z drugiej strony, jeśli te same testy są wykorzystywane z roku na rok, wśród uczniów krąży informacja. Następnie uczniowie przygotowują się tylko do konkretnego testu. Jesteśmy wtedy świadkami wkuwania .
Wydaje się, że u kilku autorów, z którymi się konsultowaliśmy, istnieje jedna stała. Autentyczna ocena ma wiele cech, ale nie zawsze może zastąpić tradycyjny egzamin na papierze i ołówku. W zakresie weryfikacji zdobytej wiedzy sprawdził się tradycyjny egzamin. Jego wiarygodność, trafność i porównywalność można łatwo określić.
Ocena ogólna Przewodnik dla kształcenia zawodowe i techniczne mówi nam, że ten typ szkoły średniej koncentruje się na ocenie nabytych kompetencji. W związku z tym zachowano dwa ważne aspekty: opanowanie rzemiosła i podstawowe szkolenie.
Aby poświadczyć osiągnięcie celów, można zastosować jedną lub więcej z następujących metod:
Preferowana jest raczej ocena produktu niż ocena procesu pracy we wszystkich przypadkach, w których można wnioskować o nabyciu danej umiejętności.
Przeprowadzenie testu do oceny produktu jest generalnie mniej skomplikowane niż testu do oceny procesu pracy. Ponadto ocena produktu pozwala recenzentowi obserwować jednocześnie więcej kandydatów.
Kształcenie zawodowe Ministerstwa Edukacji odbywa się według programu. Każdy program zawiera pewną liczbę modułów, z których każdy odpowiada określonej umiejętności. Proces zdobywania wiedzy przebiega według schematu blokowego specyficznego dla każdego programu. Każdy moduł jest oceniany. Może to mieć charakter lokalny lub być przedmiotem egzaminu ministerialnego. Ustawa o oświacie stanowi, że Minister Edukacji może nałożyć testy na wszystkie programy kształcenia zawodowego. Zasadniczo jeden na pięć modułów zostanie poddany testowi ministerialnemu.
Celem oceny przygotowania zawodowego jest zaświadczenie, że student osiągnął umiejętności zawarte w module. Student, który ukończy określony program, powinien mieć umiejętności umożliwiające uzyskanie minimalnych kwalifikacji wstępnych do danego zawodu lub zawodu. Pewne jest, że absolwent nie miałby umiejętności, które daje kilka lat wykonywania zawodu.
Ponieważ są to zawody zawodowe, testy oceniające muszą być jak najbardziej zbliżone do rzeczywistości pracy. Na przykład studenci mechaniki zmienią tłumiki w samochodzie lub dostroją silnik. Każda ocena będzie koncentrować się na procesie lub produkcie końcowym, a czasem na obu jednocześnie. Jeśli praca studenta jest oceniana w ramach kursu pomocy pacjentowi, pacjent zostanie przeniesiony z nosza na łóżko szpitalne. W tym przypadku proces jest ważniejszy niż wynik końcowy. W innych przypadkach to efekt końcowy, dobrze napisany list lub dobrze dostrojony silnik, który zademonstruje osiągnięcie kompetencji.
Stosowanie testów praktycznych stwarza pewne problemy logistyczne. Często pojawia się problem kosztów i wykonalności badań. W przypadku przeglądu stosowania pestycydów, pestycydy należy mieszać i rozprowadzać na polu ciągnikiem. Używanie traktora nie zawsze jest możliwe, a marnowanie pestycydów nie jest zbyt przyjazne dla środowiska. Tak więc test na papierze i ołówku prosi cię o określenie działań, które należy podjąć na podstawie scenariusza.
W ramach modułu Tailored Woman's Jacket Making kandydatki uczą się jak uszyć damską marynarkę. Uczą się dokonywać pomiarów, a następnie modyfikować istniejący wzór zgodnie ze specyfikacjami klienta przed wykonaniem wspomnianej kurtki. W ramach 90-godzinnego kursu udaje im się uszyć jedną lub dwie kurtki przed przystąpieniem do końcowej oceny. Na wykonanie kompletnej kurtki mają 12 godzin. Podczas oceny egzaminatorzy mieli do dyspozycji arkusz oceny, w którym odnotowywali swoje osiągnięcia na wszystkich niezbędnych etapach przygotowania. Każde kryterium jest oceniane dychotomicznie. Uczeń spełnia lub nie spełnia każdego z kryteriów. Na koniec testu student musi uzyskać 80 punktów na 100 możliwych. Jest to ocena kryterialna z progiem zaliczenia 80 punktów.
Pomimo możliwie najlepszego przygotowania dotyczącego trafności i rzetelności testu. Zdaliśmy sobie sprawę, że ukończenie testu zajmuje do 24 godzin. Dlatego wielu uczniom się nie udaje. Te niepowodzenia niekoniecznie wynikają z braku kompetencji studentów, ale z braku czasu na przeprowadzenie wszystkich etapów realizacji kurtki. Po konsultacji uzgodniono przedłużenie czasu trwania testu.
Aby zapewnić pewien stopień wierności w przeprowadzaniu testów ministerialnych, Generalna Dyrekcja Szkolenia Zawodowego i Technicznego przygotowuje testy. Są one pisane przez nauczycieli odbywających kształcenie zawodowe pod nadzorem doradcy ds. Ewaluacji. Po ich napisaniu testy są przekazywane do walidacji przez grupę nauczycieli, którzy sprawdzają ich ważność. Następnie w radach szkolnych odbywają się sesje wdrożeniowe. Istnieje zatem interakcja między egzaminatorami, którzy będą przystępować do testów, a ich projektantami. Po zdaniu egzaminów swoim uczniom, nauczyciele mogą przekazać informacje zwrotne na temat egzaminów. Umożliwia to modyfikację, wyjaśnienie lub zmianę kryteriów i instrukcji dotyczących wykonywania testów.
Metody oceny kształcenia zawodowego stosowane przez Ministerstwo Edukacji napotykają te same problemy i trudności, jak te, które przedstawili Wiggins, Messick i inni. Pisząc odbitki, zawsze zwracaj uwagę na aktualność treści. Wady materiałów lub urządzeń nie powinny ograniczać szans uczniów na sukces. Ministerstwo stara się zapewnić wierność między sędziami, wprowadzając testy ministerialne. System informacji zwrotnych umożliwia w razie potrzeby ponowne dostosowanie dowodów. Podsumowując, ocenianie oparte na wynikach jest doskonałym narzędziem do określania, czy uczniowie posiadają umiejętności wymagane w każdym module.