Εκτίμηση του βαθμού αξιοπιστίας της αξιολόγησης τετραμήνου της Α' Λυκείου

ΤΟΥ ΔΡΟΣ ΠΑΝΑΓΙΩΤΗ ΠΑΝΑΓΙΔΗ*
Σε συνέχεια του άρθρου μου με τίτλο "Αξιολόγηση μαθητών Α' τετραμήνου και αξιοπιστία" στις 9 Ιανουαρίου 2020, επανέρχομαι για να δημοσιεύσω την εκτίμηση της αξιοπιστίας της συνολικής αξιολόγησης τετραμήνου σε τρία μαθήματα, στα Νέα Ελληνικά, Μαθηματικά προσανατολισμού και Μαθηματικά κοινού κορμού.
Για την εκτίμηση της αξιοπιστίας χρησιμοποιήθηκε ο συντελεστής άλφα (Cronbach, 1951) ο οποίος χρησιμοποιείται ευρέως στην ψυχομετρία (εκπαιδευτικές και ψυχολογικές μετρήσεις). Ο συντελεστής άλφα μετρά την εσωτερική συνοχή του δοκιμίου, δηλαδή σε ποιο βαθμό οι ερωτήσεις ενός εργαλείου μέτρησης (π.χ. δοκιμίου) έχουν ψηλή συσχέτιση μεταξύ τους. Παίρνει τιμές από το 0 μέχρι το 1, αλλά για εκπαιδευτικά δοκίμια θεωρείται ικανοποιητικός από 0,80 μέχρι 0,90 και πολύ ικανοποιητικός από 0,90 μέχρι 0,95.
Οι Nunnally και Burnstein (1994) αναφέρουν ότι αν από τα αποτελέσματα ενός δοκιμίου (ή γενικά μιας αξιολόγησης) θα ληφθούν σημαντικές αποφάσεις για τους εξεταζομένους, τότε η ελάχιστη ικανοποιητική τιμή του άλφα είναι 0,90 ενώ επιθυμητός στόχος το 0,95. Φυσικά, αυτός ο συντελεστής μπορεί κάποιες φορές να είναι πλασματικά ψηλός και να παραπλανεί, γι' αυτό πρέπει να ερμηνεύεται με προσοχή (Panayides, 2013).
Πιο κάτω δίνεται η εκτίμηση της αξιοπιστίας των τριών μαθημάτων. Αρχικά δίνονται δύο πίνακες στην κάθε περίπτωση. Ο πρώτος δείχνει τη βαρύτητα και το συντελεστή αξιοπιστίας των τριών συνιστωσών που συνθέτουν την ολική αξιολόγηση του τετραμήνου (εξέταση, 45λεπτο δοκίμιο και προφορικός). Ο δεύτερος το συντελεστή συσχέτισης μεταξύ των τριών συνιστωσών.
Τέλος δίνεται η εκτίμηση του συντελεστή αξιοπιστίας της συνολικής αξιολόγησης, πρώτα για βαρύτητα 40% για το γραπτό βαθμό και 60% για τον προφορικό βαθμό και μετά για βαρύτητα 60% για το γραπτό βαθμό και 40% για τον προφορικό βαθμό, για σκοπούς σύγκρισης.
Για το συντελεστή συσχέτισης των βαθμών του 45λεπτου δοκιμίου με τον προφορικό βαθμό και το βαθμό εξέτασης χρησιμοποιήθηκε η μετατροπή Fisher (Fisher, 1921) καθώς τα 45λεπτα δοκίμια ήταν διαφορετικά για κάθε τμήμα. Τέλος, για τον υπολογισμό του συντελεστή αξιοπιστίας της σύνθετης αξιολόγησης χρησιμοποιήθηκε ο γενικός τύπος αξιοπιστίας σύνθετων βαθμολογιών (Feldt and Brennan, 1989).
ΝΕΑ ΕΛΛΗΝΙΚΑ
Το δείγμα αποτελείτο από 8 τμήματα (2 από κάθε ομάδα προσανατολισμού) από δύο Λύκεια της Λεμεσού.
Πίνακας 1α. Βαρύτητα και συντελεστές άλφα

Πίνακας 1β. Συντελεστές συσχέτισης

Συντελεστής άλφα (με βαρύτητα 40% το γραπτό και 60% το προφορικό) = 0,850
Συντελεστής άλφα (με βαρύτητα 60% το γραπτό και 40% το προφορικό) = 0,830
Σχόλιο 1: Ο συνολικός βαθμός αξιοπιστίας είναι ικανοποιητικός και μεγαλύτερος από τους βαθμούς αξιοπιστίας των τριών διαφορετικών μετρήσεων λόγω του σχετικά ψηλού συντελεστή συσχέτισης μεταξύ τους.
Σχόλιο 2: Ο βαθμός αξιοπιστίας της εξέτασης είναι λίγο χαμηλός.
Σχόλιο 3: Τα Νέα Ελληνικά είναι το μόνο από τα τρία μαθήματα στο οποίο ο συντελεστής άλφα του προφορικού είναι ψηλότερος από τον άλφα των δύο γραπτών δοκιμίων. Αυτό είναι λίγο μη αναμενόμενο, αλλά εξηγείται από την μεγάλη ομοιότητα στους βαθμούς συμμετοχής και κατ' οίκον εργασίας που έβαλαν οι εκπαιδευτικοί.
ΜΑΘΗΜΑΤΙΚΑ ΚΟΙΝΟΥ ΚΟΡΜΟΥ
Το δείγμα αποτελείτο από 4 τμήματα ενός Λυκείου στη Λεμεσό.
Πίνακας 2α. Βαρύτητα και συντελεστές άλφα

Πίνακας 2β. Συντελεστές συσχέτισης

Συντελεστής άλφα (με βαρύτητα 40% το γραπτό και 60% το προφορικό) = 0,849 

Συντελεστής άλφα (με βαρύτητα 60% το γραπτό και 40% το προφορικό) = 0,851
Σχόλιο 1: Ο συνολικός βαθμός αξιοπιστίας είναι ικανοποιητικός και πάλι μεγαλύτερος από τους βαθμούς αξιοπιστίας των τριών διαφορετικών μετρήσεων λόγω του σχετικά ψηλού συντελεστή συσχέτισης μεταξύ τους.
Σχόλιο 2: Ο βαθμός αξιοπιστίας της εξέτασης είναι οριακά ικανοποιητικός

ΜΑΘΗΜΑΤΙΚΑ ΠΡΟΣΑΝΑΤΟΛΙΣΜΟΥ

Το δείγμα αποτελείτο από 4 τμήματα ενός Λυκείου στη Λεμεσό.
Πίνακας 3α. Βαρύτητα και συντελεστές άλφα

Πίνακας 3β. Συντελεστές συσχέτισης

Συντελεστής άλφα (με βαρύτητα 40% το γραπτό και 60% το προφορικό) = 0,908
Συντελεστής άλφα (με βαρύτητα 60% το γραπτό και 40% το προφορικό) = 0,912
Σχόλιο 1: Ο συνολικός βαθμός αξιοπιστίας είναι πολύ ψηλός και πάλι μεγαλύτερος από τους βαθμούς αξιοπιστίας των τριών διαφορετικών μετρήσεων λόγω του σχετικά ψηλού συντελεστή συσχέτισης μεταξύ τους.
Σχόλιο 2: Ο βαθμός αξιοπιστίας της εξέτασης είναι αρκετά ικανοποιητικός
ΓΕΝΙΚΑ ΣΧΟΛΙΑ
• Ο βαθμός αξιοπιστίας για τη συνολική αξιολόγηση του πρώτου τετραμήνου της Α' Λυκείου κυμαίνεται από 0,85 στα Νέα Ελληνικά και στα Μαθηματικά κοινού κορμού μέχρι 0,908 στα Μαθηματικά προσανατολισμού. Αυτό δείχνει ότι η αξιοπιστία της συνολικής αξιολόγησης του πρώτου τετραμήνου της Α' Λυκείου ήταν ικανοποιητικού βαθμού για τα Νέα Ελληνικά και για τα Μαθηματικά κοινού κορμού και ψηλού βαθμού για τα Μαθηματικά προσανατολισμού.
• Σε περίπτωση αλλαγής της βαρύτητας από 40% για το γραπτό και 60% για το προφορικό σε 60% - 40% οι διαφορές στην αξιοπιστία είναι πολύ μικρές.
• Ο βαθμός αξιοπιστίας των εξεταστικών δοκιμίων ήταν λίγο χαμηλός για τα Νέα Ελληνικά, οριακά ικανοποιητικός για τα Μαθηματικά κοινού κορμού και αρκετά ικανοποιητικός για τα Μαθηματικά προσανατολισμού.
• Η συσχέτιση μεταξύ των βαθμών της εξέτασης, του 45λεπτου δοκιμίου και του προφορικού ήταν ψηλή στα Μαθηματικά προσανατολισμού και στα Νέα ενώ ήταν μέτρια μεταξύ προφορικού και των άλλων δύο γραπτών αξιολογήσεων στα Μαθηματικά κοινού κορμού.

*MSc Educational Testing, PhD Educational Measurement
Μαθηματικός, ΒΔΑ' Λύκειο Αγίου Σπυρίδωνα, Λεμεσός.

Σχετική βιβλιογραφία
Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297-334.
Feldt, L. & Brennan, R. (1989). Reliability. In R. Linn (ed), Educational Measurement (3rd edition) pp. 105-146: The American Council on Education, MacMillan.
Fisher, R. A. (1921). "On the 'probable error' of a coefficient of correlation deduced from a small sample". Metron. 1: 3–32. Available at https://digital.library.adelaide.edu.au/dspace/bitstream/2440/15169/1/14.pdf
Nunnally, J. C. & Bernstein, I. H. (1994) Psychometric Theory, (3rd ed.). USA: McGraw-Hill, Inc.
Panayides, P. (2013). Coefficient Alpha: Interpret with caution. Europe’s Journal of Psychology, 9(4), 687-696. Available at: https://ejop.psychopen.eu/article/view/653