Δυσκολία και εγκυρότητα των εξεταστικών δοκιμίων των Παγκυπρίων Eξετάσεων:

Προς μαθητές, γονείς, εκπαιδευτικούς, και θεματοθέτες.

ΤΟΥ ΔΡΟΣ ΠΑΝΑΓIΩΤΗ ΠΑΝΑΓΙΔΗ*

Η εγκυρότητα αναφέρεται στον βαθμό στον οποίο τα στοιχεία που συλλέγονται και η θεωρία/βιβλιογραφία υποστηρίζουν την ακρίβεια των συμπερασμάτων που εξάγονται από τα αποτελέσματα των εξεταζόμενων με βάση τον σκοπό του δοκιμίου. Η εγκυρότητα είναι η πιο σημαντική έννοια στην κατασκευή και αξιολόγηση των εξεταστικών δοκιμίων. (AERA, APA, NCME, 2014, p. 11).

Με πιο απλά λόγια, η εγκυρότητα αφορά τον βαθμό στον οποίο ένα εξεταστικό δοκίμιο πετυχαίνει τον σκοπό του. “Η διαδικασία διερεύνησης της εγκυρότητας ενός δοκιμίου περιλαμβάνει τη συλλογή στοιχείων που να υποστηρίζουν επιστημονικά τα προτεινόμενα συμπεράσματα από τα αποτελέσματα του δοκιμίου” (AERA, APA, NCME, 2014, p. 11).

Όσο πιο σημαντικές είναι οι εξετάσεις, τόσο πιο ψηλό βαθμό εγκυρότητας πρέπει να έχουν, και η διερεύνηση της εγκυρότητας των παγκυπρίων εξετάσεων (και όχι μόνο), που είναι η πιο σημαντικές εξετάσεις που ετοιμάζει το ΥΠΑΝ, πρέπει να γίνεται συστηματικά.

Πολλά λέγονται και γράφονται, συνήθως κάθε χρόνο, για τη δυσκολία των εξεταστικών δοκιμίων των παγκυπρίων εξετάσεων, από μαθητές, γονείς, πολιτικούς, δημοσιογράφους, ακόμα και εκπαιδευτικούς, αυθαίρετα και με βάση τα προσωπικά κριτήρια του καθενός, χωρίς να λαμβάνεται υπόψη ο σκοπός των παγκυπρίων εξετάσεων.

Σε αυτό το άρθρο θα ξεκαθαρίσουμε πως επηρεάζει η δυσκολία των εξεταστικών δοκιμίων των παγκυπρίων εξετάσεων την εγκυρότητά τους, δηλαδή την επίτευξη του σκοπού τους. Ο σκοπός αυτών των εξετάσεων δεν είναι άλλος από τη διάκριση και κατάταξη όλων των εξεταζόμενων, με μεγαλύτερη έμφαση στους μέτριους μέχρι ικανότερους εξεταζόμενους, αυτούς δηλαδή που διεκδικούν τις θέσεις στα πανεπιστήμια Κύπρου και Ελλάδας. Αυτή η διασαφήνιση θα γίνει με τη βοήθεια τεσσάρων διαγραμμάτων ερωτήσεων – εξεταζομένων, των διεθνώς γνωστών Wright’s item – person maps (Linacre, 2011) τα οποία βρίσκονται στο επισυναπτόμενο αρχείο pdf.

Μια σημαντική αρχή στις εκπαιδευτικές μετρήσεις είναι ότι ένας εξεταζόμενος με μεγαλύτερη ικανότητα θα έχει πάντα μεγαλύτερη πιθανότητα να απαντήσει μια ερώτηση οποιασδήποτε δυσκολίας από ένα εξεταζόμενο με χαμηλότερη ικανότητα (Rasch, 1960). Αναμένεται λοιπόν η κατάταξη των εξεταζόμενων να είναι περίπου η ίδια ανεξαρτήτως της δυσκολίας του δοκιμίου. Αυτό που μας ενδιαφέρει όμως στις Παγκύπριες Εξετάσεις είναι η καλύτερη διάκριση των μέτριων μέχρι των πιο ικανών εξεταζόμενων. Αυτό επιτυγχάνεται με τη σωστή στόχευση των ερωτήσεων. Δηλαδή οι ερωτήσεις να έχουν δυσκολία που να στοχεύει στην ομάδα των εξεταζόμενων που μας ενδιαφέρει περισσότερο.

Στο Διάγραμμα 1, ο κατακόρυφος άξονας αντιπροσωπεύει την ικανότητα που μετρά ένα εξεταστικό δοκίμιο. Αριστερά φαίνεται η κατανομή των εξεταζομένων με βάση την επίδοσή τους στο δοκίμιο. Όσο πιο ψηλά βρίσκεται ένας εξεταζόμενος τόσο ψηλότερο βαθμό πήρε στο δοκίμιο. Στα δεξιά μπαίνουν οι ερωτήσεις, με βάση τη δυσκολία τους, με τις δυσκολότερες ερωτήσεις να τοποθετούνται ψηλότερα στο διάγραμμα. Αυτό το διάγραμμα μας δίνει τη δυνατότητα να συγκρίνουμε την ικανότητα των εξεταζόμενων με τη δυσκολία των ερωτήσεων.

Στο διάγραμμα αυτό φαίνεται που περίπου τοποθετούνται οι ερωτήσεις με βάση τη δυσκολία τους και για ποιους εξεταζόμενους είναι στοχευμένες ή ποιους εξεταζόμενους διακρίνουν-κατατάσσουν καλύτερα. Οι εύκολες ερωτήσεις είναι στοχευμένες για τους αδύνατους εξεταζόμενους. Τέτοιες ερωτήσεις είναι οι πιο κατάλληλες για δοκίμια ενθάρρυνσης των μαθητών ή δοκίμια όπως τα διαγνωστικά που χρησιμοποιούμε στην Α’ γυμνασίου και Α’ λυκείου που σκοπό έχουν να ξεχωρίσουν τους αδύνατους μαθητές που χρειάζονται ενισχυτική διδασκαλία. Οι ερωτήσεις μέτριας δυσκολίας είναι στοχευμένες για τους μέτριους μαθητές και βοηθούν να ξεχωρίσουμε τους αδύνατους από τους ικανότερους εξεταζόμενους. Τέλος, οι δύσκολες ερωτήσεις είναι στοχευμένες για τους ικανότερους μαθητές τους οποίους μπορούν να διακρίνουν και να κατατάξουν.

Άρα, τα εξεταστικά δοκίμια των Παγκυπρίων Εξετάσεων πρέπει να περιλαμβάνουν κάποιες εύκολες ερωτήσεις, αρκετές μέτριας δυσκολίας αλλά οπωσδήποτε και ορισμένες δύσκολες.

Στο επισυναπτόμενο αρχείο παρουσιάζονται επίσης τρία διαγράμματα υποθετικών εξεταστικών δοκιμίων (με simulated data). Το Διάγραμμα 2 αντιπροσωπεύει ένα item – person map για ένα εξεταστικό δοκίμιο 15 ερωτήσεων, στο οποίο οι εξεταζόμενοι είχαν μέσο βαθμό περίπου 75 από τα 100 (15 από τα 20), το Διάγραμμα 3 εξεταστικό δοκίμιο 12 ερωτήσεων με μέσο βαθμό περίπου 60 από τα 100 (12 από τα 20) και το Διάγραμμα 4 εξεταστικό δοκίμιο επίσης 15 ερωτήσεων με μέσο βαθμό περίπου 40 από τα 100 (8 από τα 20).

Προφανώς, συγκρίνοντας τα τρία διαγράμματα, όσο πιο δύσκολο είναι το εξεταστικό δοκίμιο, τόσο περισσότερες ερωτήσεις με μεγαλύτερη δυσκολία περιλαμβάνει. Το σημαντικό όμως είναι η στόχευση των ερωτήσεων.

Στο Διάγραμμα 2 οι ερωτήσεις είναι πολύ εύκολες. Μόνο μία ερώτηση είναι στοχευμένη για εξεταζόμενους με ικανότητα λίγο πάνω από τη μέση ικανότητα. Επίσης, οι 12 από τις 15 ερωτήσεις του δοκιμίου είναι στοχευμένες για ένα μικρό ποσοστό των εξεταζόμενων, τους πιο αδύνατους.

Στο Διάγραμμα 3 οι ερωτήσεις βρίσκονται λίγο πιο ψηλά, σε σχέση με του προηγούμενου διαγράμματος, άρα υπάρχει μια μικρή αύξηση στη δυσκολία των ερωτήσεων. Επίσης, μόνο τρεις ερωτήσεις είναι στοχευμένες για εξεταζόμενους με ικανότητα λίγο πάνω από τη μέση ικανότητα.

Τέλος, στο Διάγραμμα 4, με το πιο δύσκολο υποθετικό δοκίμιο με μέσο βαθμό 8 από τα 20, υπάρχει μια πολύ καλύτερη κατανομή ερωτήσεων σε σχέση με την ικανότητα των εξεταζομένων. Οι μισές ερωτήσεις είναι στοχευμένες για τους πιο αδύνατους εξεταζόμενους και οι άλλες μισές για τους πιο ικανούς.

Άρα, στο εύκολο δοκίμιο (μέσος βαθμός 15/20) γίνεται καλύτερη διάκριση κυρίως των αδύνατων εξεταζόμενων, στο δοκίμιο με μέσο βαθμό 12/20 των αδύνατων και μέτριων εξεταζόμενων και στο πιο δύσκολο δοκίμιο (μέσος βαθμός 8/20) κυρίως των μέτριων και ικανότερων εξεταζόμενων.

Συμπερασματικά, μεγαλύτερη ακρίβεια στη μέτρηση της ικανότητας μιας οποιασδήποτε ομάδας εξεταζόμενων επιτυγχάνεται αν ικανοποιητικός αριθμός ερωτήσεων είναι στοχευμένες γι’ αυτή την ομάδα. Άρα η καλύτερη στόχευση των ερωτήσεων αυξάνει και την ακρίβεια της μέτρησης (αξιοπιστία) άρα και το βαθμό εγκυρότητας του εξεταστικού δοκιμίου.

Παραλληλίζοντας αυτό με τη μέτρηση στο φυσικό κόσμο, φανταστείτε ένα τελικό άλματος εις ύψος στους ολυμπιακούς αγώνες όπου λαμβάνουν μέρος οι κορυφαίοι άλτες στον κόσμο με επιδόσεις από 2.30 μ. μέχρι 2.40 μ. Αν στους αγώνες τοποθετηθεί ο πήχυς σε ύψος μόνο από 2.00 μ. μέχρι 2.20 μ. πως μπορώ να μετρήσω την ικανότητα του κάθε άλτη, να τους κατατάξω από τον καλύτερο μέχρι τον πιο αδύνατο και να απονείμω τα πρώτα τρία μετάλλια (χρυσό στον καλύτερο, αργυρό στον δεύτερο και χάλκινο στον τρίτο);

ΚΑΤΑΛΗΚΤΙΚΑ ΣΧΟΛΙΑ

Πάντα ένα δοκίμιο κατασκευάζεται έχοντας υπόψη τον σκοπό του. Σκοπός των Παγκυπρίων εξετάσεων είναι η διάκριση και κατάταξη των εξεταζόμενων με έμφαση στους μέτριους και ικανότερους εξεταζόμενους, αυτούς που θα διεκδικήσουν τις θέσεις στα ανώτερα και ανώτατα εκπαιδευτικά ιδρύματα.

Ένα εύκολο δοκίμιο, παρόλο που αφήνει ικανοποιημένους μαθητές, γονείς και ίσως πολιτικούς και μειώνει την πίεση που δέχεται απ’ όλους αυτούς το ΥΠΑΝ, θα έχει χαμηλό βαθμό εγκυρότητας αφού δεν θα πετυχαίνει ικανοποιητικά το σκοπό του. Όλοι οι ικανοί μέχρι πολύ ικανοί θα είναι μαζεμένοι στις ψηλές βαθμολογίες χωρίς ικανοποιητική διάκριση. Και ένα τέτοιο δοκίμιο όχι μόνο δεν πετυχαίνει τον σκοπό του αλλά αδικεί και τους ικανότερους εξεταζόμενους.

Με τα πιο πάνω δεν εννοώ ότι πρέπει όλα τα εξεταστικά δοκίμια των Παγκυπρίων εξετάσεων να γίνουν άμεσα πιο δύσκολά, αλλά πρέπει οπωσδήποτε να περιλαμβάνουν και μερικές δύσκολες ερωτήσεις. Τα εύκολα εξεταστικά δοκίμια με ψηλούς μέσους όρους δεν πετυχαίνουν τον τόσο σημαντικό σκοπό των Παγκυπρίων εξετάσεων. Και πρώτοι που θα έπρεπε να το απαιτήσουν αυτό είναι οι μαθητές, οι γονείς και οι πολιτικοί οι οποίοι φαντάζομαι θέλουν ένα αξιόπιστο και δίκαιο τρόπο εξετάσεων, με ψηλό βαθμό εγκυρότητας.

Και τελειώνω το άρθρο αυτό, απευθυνόμενος προς το ΥΠΑΝ με λόγια του καθηγητή Peter Tymms για την ανάγκη ελέγχου της ποιότητας πρωτίστως των Παγκυπρίων εξετάσεων, αλλά και άλλων εξεταστικών δοκιμίων που ετοιμάζονται από το ΥΠΑΝ.

Nearly all exam and testing bodies experience difficulties from time to time. Sometimes this is because they have made mistakes, at other times pressure comes from political sources, parents  or academics. Most weather the storm quite well but it is necessary to have an independent body charged with overseeing the quality of their work. Such a body can be reassuring in times of difficulty but it will also help improve the quality of exams and tests.    (Tymms, March 2022, personal communication)

Όποιος ενδιαφέρεται για περισσότερες λεπτομέρειες για το θέμα μπορεί να επικοινωνήσει μαζί μου στο pan.panayides@cytanet.com.cy

Βιβλιογραφία

AERA, APA & NCME, (2014). StandardsforEducationalandPsychologicalTesting. Washington, DC: American Educational Research Association.

Linacre, J. M. (2021). WINSTEPS Rasch-model computer programs (version 5.1.6.0), [Computer software]. Available from https://www.winsteps.com/

Rasch, G. (1960). Probabilistic model for some intelligence and achievement tests. Copenhagen: Danish Institute for Educational Research.

*Phd in Educational Measurement

Μαθηματικός, Β.Δ.Α’ στο Λύκειο Πολεμιδιών