Για Εγγραφή και Κατάταξη στους Πίνακες Διορισίμων
Το Υπουργείο Παιδείας και Πολιτισμού (ΥΠΠ), ενόψει ανακριβών δημοσιευμάτων που αφορούν στη στατιστική επεξεργασία των Γραπτών Εξετάσεων 2017 για Εγγραφή και Κατάταξη στους Πίνακες Διορισίμων, ενημερώνει για τις θέσεις της Επιστημονικής Επιτροπής για τη Στατιστική Επεξεργασία των εν λόγω εξετάσεων, όπως εκφράζονται δια των εκπροσώπων της Επιτροπής, ακαδημαϊκών του Πανεπιστημίου Κύπρου, Ιάσονα Λαμπριανού και Γιώργου Σπανούδη.
Το πιο κάτω κείμενο έχει σκοπό να εξηγήσει τα χαρακτηριστικά γνωρίσματα της στατιστικής επεξεργασίας που χρησιμοποίησε η Υπηρεσία Εξετάσεων για τις Εξετάσεις Διορισίμων και να απαντήσει σε μη επιστημονικά τεκμηριωμένα δημοσιεύματα των τελευταίων ημερών.
Του κυρίως κειμένου προηγείται μια σύνοψη, η οποία παρουσίαζει τα κυριότερα σημεία, τα οποία ακολούθως επεξηγούνται πιο αναλυτικά.
1. Σύνοψη
- Θα μπορούσε να μη γίνει στατιστική επεξεργασία και να χρησιμοποιηθούν απλά οι αρχικές βαθμολογίες των υποψηφίων σε κάθε αντικείμενο εξέτασης;
Κατηγορηματικά όχι. Επειδή ο σχετικός Νόμος προβλέπει τη δημιουργία καταλόγου κατάταξης των επιτυχόντων και προνοεί ότι οι επιτυχόντες μπορούν να διατηρήσουν μέχρι και για 10 έτη τη μοριοδότηση που πέτυχαν. Ως εκ τούτου, η στατιστική επεξεργασία καθίσταται αναπόφευκτη.
Η Υπηρεσία Εξετάσεων απλά εφάρμοσε τις διεθνείς πρακτικές, όπως αυτές προβλέπονται από όλους τους καταξιωμένους διεθνείς επιστημονικούς φορείς. Η στατιστική επεξεργασία των αρχικών βαθμολογιών υπαγορεύεται στον τόμο Brennan (2006) του Εθνικού Συμβουλίου Εκπαιδευτικής Μέτρησης των Ηνωμένων Πολιτειών (National Council on Measurement in Education) και του Αμερικανικού Συμβουλίου Εκπαίδευσης (American Council on Education). Επίσης υπαγορεύεται στις οδηγίες του Ευρωπαϊκού Συνδέσμου Εκπαιδευτικής Αξιολόγησης (Association for Educational Assessment – Europe), στις οδηγίες της Διεθνούς Επιτροπής Εξετάσεων (International Test Commission), στις αναθεωρημένες οδηγίες του Ολλανδικού συστήματος Ποιότητας Εξετάσεων (Revised Dutch Rating System for Test Quality) κτλ.
- Υπάρχουν καταξιωμένοι επιστήμονες/ερευνητές ή οργανωμένοι θεσμοί επιστημονικών ομάδων διεθνώς που να ισχυρίζονται ότι σε ανταγωνιστικές εξετάσεις κατάταξης θα πρέπει να αθροίζονται οι αρχικές – μη επεξεργασμένες – βαθμολογίες των υποψηφίων;
Κατηγορηματικά όχι. Δεν υπάρχουν επιστημονικά συγγράμματα που να προτείνουν την άθροιση αρχικών βαθμολογιών για εξετάσεις κατάταξης.
- Μόνο η Υπηρεσία Εξετάσεων του Υπουργείου Παιδείας και Πολιτισμού χρησιμοποιεί στατιστικές επεξεργασίες αρχικών βαθμολογιών;
Παρόμοιες (και συνήθως πολύ πιο πολύπλοκες) στατιστικές επεξεργασίες χρησιμοποιούνται από όλες τις ευρέως γνωστές Υπηρεσίες Εξετάσεων του εξωτερικού π.χ. Educational Testing Service (USA), Cambrdige Assessment (UK), Cito Group (Netherlands) κτλ.
- Μόνο στις Εξετάσεις Διορισίμων γίνεται στατιστική επεξεργασία των βαθμολογιών;
Στην Κύπρο εφαρμόζεται η ίδια μέθοδος και για τις Παγκύπριες Εξετάσεις εδώ και δεκαετίες, αλλά και για άλλες εξετάσεις. Η στατιστική επεξεργασία των αρχικών βαθμολογιών δεν είναι απλά μια θεωρία σε ακαδημαϊκά εγχειρίδια, αλλά είναι συμβατή με τις διαδικασίες που ακολουθούνται σε μεγάλες εξετάσεις παγκοσμίως (π.χ. SATs, GRE, ACT). - Μπορεί η κατάταξη των υποψηφίων να συνδυαστεί με βαθμολόγηση (π.χ. μοριοδότηση) από άλλες πηγές πληροφόρησης (π.χ. λόγω χρόνων υπηρεσίας);
Κατηγορηματικά ναι. Γιατί όχι; Δέστε για παράδειγμα τις εξετάσεις New South Wales Higher School Certificate (HSC) όπου οι στατιστικά επεξεργασμένες βαθμολογίες από τις γραπτές εξετάσεις συνδυάζονται με βαθμολογίες από άλλες πηγές (π.χ. σχολικούς βαθμούς).
- Είναι η στατιστική επεξεργασία που χρησιμοποίησε η Υπηρεσία Εξετάσεων πολύπλοκη και αδιαφανής;
Η Υπηρεσία Εξετάσεων χρησιμοποιεί την πιο απλή μέθοδο στατιστικής επεξεργασίας που υπάρχει θεμελιωμένη στη βιβλιογραφία (δέστε σχετικό σχόλιο στο Kolen and Brennan, 2004, σελ. 54). - Η μέθοδος στατιστικής επεξεργασίας που χρησιμοποιήθηκε δεν ήταν υπόψη κανενός και υιοθετήθηκε μετά τις εξετάσεις;
Ουδέν αναληθέστερο. Η διαδικασία αυτή ήταν γνωστή, προβλεπόταν από τον σχετικό Νόμο/Κανονισμό και χρησιμοποιείται από την Υπηρεσία Εξετάσεων εδώ και δεκαετίες για τις Παγκύπριες Εξετάσεις μετά από συμβουλές ειδικών από το Educational Testing Service (USA). Η μέθοδος αυτή έχει επίσης παρουσιαστεί εδώ και πολλά χρόνια σε διάφορα επιστημονικά συγγράμματα ως η μέθοδος στατιστικής επεξεργασίας που χρησιμοποιεί η Υπηρεσία Εξετάσεων (δέστε Lamprianou, 2009, 2012). Η Υπηρεσία Εξετάσεων δεν έκανε κάποια νέα επιλογή μεθόδου, απλά χρησιμοποίησε την ίδια μέθοδο (z scores) που χρησιμοποιεί εδώ και δεκαετίες, άρα δεν είχε κάτι καινούριο να ανακοινώσει σχετικά με αυτό το θέμα.
- Είναι αλήθεια ότι με τη στατιστική επεξεργασία που χρησιμοποίησε η Υπηρεσία Εξετάσεων αλλάζει η σειρά των επιτυχόντων ανά μάθημα:
Αναληθέστατο. Δέστε για παράδειγμα το Chang (2006), που αναφέρει ότι η μέθοδος αυτή δεν επηρεάζει το σχήμα της κατανομής των βαθμολογιών («This transformation process exerts no effect on the original distributional shape of the raw scores», σελ. 907). Οι ανηγμένες βαθμολογίες είναι απλά η απόσταση της αρχικής βαθμολογίας των υποψηφίων από το μέσο όρο. Δείχνουν την σχετική επιτυχία ενός υποψηφίου σε σχέση με τους ανθυποψηφίους του.
- Είναι αλήθεια ότι η στατιστική επεξεργασία σε όλα τα γνωστικά αντικείμενα που εξετάστηκαν οι υποψήφιοι δεν ήταν απαραίτητη;
Λάθος, δέστε τον Kolen (2006) που συμβουλεύει ότι για να μπορέσουμε να συνθέσουμε τις αρχικές βαθμολογίες των υποψηφίων στα διάφορα αντικείμενα εξέτασης, θα πρέπει να επεξεργαστούμε με την ίδια μέθοδο τις αρχικές βαθμολογίες των υποψηφίων, όπως εξηγήθηκε πιο πριν: «Using the same scaling procedures for each of the tests in a battery facilitates the formation of … composites» (σελ. 169).
- Είναι αλήθεια ότι η στατιστική επεξεργασία και η άθροιση των «ανηγμένων» βαθμολογιών πιθανόν – αλλά όχι απαραιτήτως – να καθορίζει τη συνολική (όχι ανά μάθημα) κατάταξη των υποψηφίων;
Ναι, αλλά αυτός ακριβώς είναι ο στόχος της στατιστικής επεξεργασίας επειδή πρέπει να αθροιστούν συγκρίσιμες μετρήσεις από κάθε αντικείμενο εξέτασης προκειμένου να καταταχτούν οι υποψήφιοι . Είναι λάθος να χρησιμοποιηθούν οι ανεπεξέργαστες βαθμολογίες. Δέστε, για παράδειγμα, το σχετικό δημοσίευμα των ερευνητών του Educational Testing Service, Tan και Michel, 2011) ή και τις οδηγίες του Ολλανδικού συστήματος Ποιότητας Εξετάσεων (Dutch Rating System for Test Quality) όπως περιγράφονται στο Evers (2001, σελ. 165) «Takenbyitself, therawscorehaslittleornosignificance.», δηλαδή από μόνες τους οι αρχικές (ανεπεξέργαστες) βαθμολογίες δεν σημαίνουν τίποτα! - Υπάρχουν στη διεθνή ακαδημαϊκή κοινότητα αμφιβολίες ως προς την καταλληλότητα αυτής της μεθόδου;
Κατηγορηματικά όχι. Η Επιστημονική Επιτροπή που επέβλεψε την εφαρμογή της μεθόδου στατιστικής επεξεργασίας για τις Εξετάσεις Διορισίμων έχει μεγάλη εμπειρία και πραγματογνωμοσύνη που έχει κατά καιρούς αξιοποιηθεί από κυβερνήσεις διαφόρων χωρών, Ευρωπαϊκών και μη και από Υπηρεσίες Εξετάσεων σε διάφορες χώρες.
Με όλη την εμπειρία από διεθνή συνέδρια και με όλη τη γνώση της σχετικής βιβλιογραφίας, διαπιστώνεται κατηγορηματικά ότι η ακαδημαϊκή κοινότητα δεν έχει αμφιβολίες ως προς τη στατιστική επεξεργασία των αρχικών βαθμολογιών των υποψηφίων. Εάν υπάρχει αντίθετη άποψη, θα πρέπει να δηλωθεί και να τεκμηριωθεί με σχετική βιβλιογραφία σε καταξιωμένα επιστημονικά περιοδικά.
Από τα πιο πάνω προκύπτουν τα ακόλουθα:
- Ακόμα και αν η στατιστική επεξεργασία δεν προβλεπόταν από το σχετικό Νόμο, η Υπηρεσία Εξετάσεων θα έπρεπε υποχρεωτικά να την υιοθετήσει, προκειμένου η κατάταξη των υποψηφίων να είναι δίκαιη και το κράτος να μπορέσει να καταρτίσει άρτιους καταλόγους διορισίμων, για αξιοποίηση από την Επιτροπή Εκπαιδευτικής Υπηρεσίας.
- Όσοι έχουν αντίθετη άποψη και πιστεύουν ότι υπάρχει κάποια καλύτερη μέθοδος, θα πρέπει να την παρουσιάσουν και να την τεκμηριώσουν παραθέτοντας τη σχετική επιστημονική βιβλιογραφία.
- Αν οι επικριτές της μεθόδου στατιστικής επεξεργασίας που χρησιμοποιήθηκε δεν μπορούν να παραθέσουν εξίσου ισχυρά επιχειρήματα, γερά θεμελιωμένα στη διεθνή ακαδημαϊκή γνώση και πρακτική, θα πρέπει άμεσα και δημοσίως να δηλώσουν ότι αποσύρουν τα ανακριβή τους δημοσιεύματα και να απολογηθούν για την αχρείαστη ανησυχία που έχουν προκαλέσει στους ενδιαφερόμενους και στο κοινό. Αν δεν το πράξουν άμεσα, παραμένουν εκτεθειμένοι.
Ολόκληρο το κείμενο στο πιο κάτω έγγραφο:
