Αξιολόγηση μαθητών Α' τετραμήνου και αξιοπιστία

ΤΟΥ ΔΡΟΣ ΠΑΝΑΓΙΩΤΗ ΠΑΝΑΓΙΔΗ*

Προτού εκφράσω της απόψεις μου για το θέμα θα ήθελα να διευκρινίσω ότι προσωπικά δεν αντιτίθεμαι στις εξετάσεις τετραμήνων νοουμένου ότι θα λυθούν τα διάφορα πρακτικά προβλήματα που προκύπτουν.

Με αυτό το άρθρο θα ήθελα να εστιάσω την προσοχή των αναγνωστών στα τρία βασικότερα (κατά τη γνώμη μου) προβλήματα του νέου συστήματος αξιολόγησης τα οποία αναπτύσσω πιο κάτω.

1. Η βαρύτητα (τα ποσοστά) που δίνονται για τις διάφορες μετρήσεις που δίνουν τη σύνθετη (τελική)  βαθμολογία των μαθητών.  

Με το να προσθέτουμε απλά τις συνιστώσες βαθμολογίες από τις διάφορες μετρήσεις-αξιολογήσεις ή να θέτουμε τυχαία και χωρίς μελέτη διαφορετική βαρύτητα σε αυτές, αποτυγχάνουμε στο να αναγνωρίσουμε τη σχετική σημαντικότητα της κάθε μιας στη σύνθετη βαθμολογία (Rudner, 2001).

Στο νέο σύστημα αξιολόγησής μας έχουμε βασικά τρεις διαφορετικές μετρήσεις: την προφορική (60%), την γραπτή εξέταση (30%) και το δοκίμιο τετραμήνου (10%).  

Ειδικοί στις εκπαιδευτικές μετρήσεις (όπως οι Govindarajulu, 1988; Rudner, 2001; και Bobko, Roth and Buster, 2007) περιγράφουν τρεις διαφορετικούς τρόπους για να θέτουμε τη βαρύτητα των συνιστωσών μετρήσεων για υπολογισμό της σύνθετης βαθμολογίας:

            α. Ανάθεση βαρύτητας ανάλογα με τη δυσκολία της κάθε συνιστώσας μέτρησης.

Δηλαδή, αν για παράδειγμα θέλω να χρησιμοποιήσω μετρήσεις από δύο δοκίμια για να βγάλω τη σύνθετη βαθμολογία,  τα αποτελέσματα στο πιο δύσκολο δοκίμιο πρέπει να έχουν μεγαλύτερη βαρύτητα. Αυτή η μέθοδος ευνοεί τους ικανότερους μαθητές οι οποίοι αντιλαμβάνονται πιο εύκολα τις δυσκολότερες έννοιες (ΠΛΕΟΝΕΚΤΗΜΑ) αλλά ταυτόχρονα τιμωρεί τους υπόλοιπους που μπορεί να μην απάντησαν στις πιο δύσκολες ερωτήσεις (ΜΕΙΟΝΕΚΤΗΜΑ).

Στην περίπτωσή μας με βάση τους μέσους όρους, τα δύο δοκίμια έχουν σημαντικά μεγαλύτερη δυσκολία από την προφορική αξιολόγηση άρα θα έπρεπε να έχουν και μεγαλύτερη βαρύτητα.

            β. Ανάθεση βαρύτητας ανάλογα με την αξιοπιστία της κάθε συνιστώσας μέτρησης.

Tα αποτελέσματα στη μέτρηση με το μεγαλύτερο βαθμό αξιοπιστίας (άρα και μικρότερο σφάλμα μέτρησης) έχουν μεγαλύτερη βαρύτητα. Συνήθως χρησιμοποιούμε ως συντελεστές βαρύτητας τους συντελεστές αξιοπιστίας της κάθε μέτρησης.

Για παράδειγμα αν έχω δύο δοκίμια και ο συντελεστής αξιοπιστίας του πρώτου δοκιμίου είναι 0,85 και του δεύτερου 0,70 το πρώτο έχει ψηλότερο βαθμό αξιοπιστίας. Άρα τη σύνθετη βαθμολογία (Χ) για τον κάθε μαθητή, από τους βαθμούς Χ₁ και Χ₂ στα δύο δοκίμια, μπορούμε να την υπολογίσουμε με τον πιο τύπο:   Χ =    

Με αυτόν τον τρόπο επιτυγχάνεται μικρότερο σφάλμα μέτρησης από το να προσθέταμε απλά τις δύο συνιστώσες βαθμολογίες.

Στην περίπτωση μας και πάλι τα δύο δοκίμια έχουν ψηλότερο βαθμό αξιοπιστίας από την προφορική αξιολόγηση (για αρκετούς λόγους όπως περισσότερα ερωτήματα και μεγαλύτερο εύρος βαθμολογιών) άρα θα έπρεπε να έχουν και μεγαλύτερη βαρύτητα. Ερευνητές όπως οι Carlson (1968) και Lane  και Stone (2016) έχουν δείξει ότι η αξιοπιστία μιας σύνθετης βαθμολογίας μειώνεται όταν δίνεται περισσότερη βαρύτητα στις λιγότερο αξιόπιστες συνιστώσες βαθμολογίες.

            γ. Ανάθεση συντελεστών βαρύτητας με τους οποίους θα μεγιστοποιείται ο βαθμός εγκυρότητας σχετιζόμενης με κριτήριο.

Επιλέγουμε τους συντελεστές βαρύτητας κάθε μέτρησης οι οποίοι θα μας δώσουν τον μεγαλύτερο συντελεστή συσχέτισης μεταξύ των σύνθετων βαθμολογιών και των αποτελεσμάτων σε μία άλλη μέτρηση (π.χ. ένα άλλο δοκίμιο) η οποία έχει αποδεδειγμένα ψηλό βαθμό εγκυρότητας. Με αυτό τον τρόπο βελτιώνεται και ο βαθμός εγκυρότητας της μέτρησής μας.

Στην περίπτωσή μας καταφανώς δεν γίνεται κάτι τέτοιο.

Συμπερασματικά, κανένας δε μας έχει εξηγήσει πως κατέληξαν οι "ειδικοί" στα ποσοστά βαρύτητας για την κάθε μέτρηση και θεωρώ ότι μάλλον βεβιασμένα και τυχαία τα έχουν θέσει και αυτή η προχειρότητα  δεν είναι μόνο απογοητευτική αλλά και επικίνδυνη για την εκπαίδευσή μας. 

2. Ένα μόνο δοκίμιο για το τετράμηνο

Δυσκολεύομαι πολύ να καταλάβω τους λόγους (που ελπίζω να αφορούν στην πιο ακριβή μέτρηση και αξιολόγηση της ικανότητας των μαθητών) για τους οποίους πάρθηκε αυτή η απόφαση. Ξέρουμε ότι γενικά, όσο περισσότερες, ακριβείς και με ψηλό βαθμό αξιοπιστίας, μετρήσεις έχουμε, τόσο πιο έγκυρη θα είναι η τελική μας αξιολόγηση της ικανότητας των μαθητών μας. Και από πρακτικής πλευράς, είναι δυνατό να θεωρεί κάποιος ότι ο μαθηματικός (για παράδειγμα) που διδάσκει 7 περιόδους την εβδομάδα και ο οικονομολόγος που διδάσκει 4 περιόδους την εβδομάδα πρέπει να χορηγήσουν ένα μόνο δοκίμιο στους μαθητές τους; Δε θα έπρεπε ο αριθμός δοκιμίων να είναι ανάλογος του όγκου της ύλης που διδάσκονται οι μαθητές;

Όσον αφορά τους τελειόφοιτους, που διδάσκονται τόσες πολλές περιόδους στις κατευθύνσεις τους, και το μέλλον τους εξαρτάται από τις προεισαγωγικές εξετάσεις, θα έχουν εξασκηθεί σε συνθήκες εξετάσεων με δύο μόνο δοκίμια κατά τη διάρκεια του ακαδημαϊκού έτους;

Κάποιος μπορεί να ισχυριστεί ότι υπάρχει και η εικοσάλεπτη άσκηση. Αυτό είναι αβάσιμο, δεν εξυπηρετεί και φαίνεται ότι έχει αποφασισθεί από άτομα που δεν έχουν άμεση σχέση με τις εκπαιδευτικές μετρήσεις - αξιολογήσεις. Οι Mehrens και Lehmann (1991), ανάμεσα σε πάρα πολλούς ειδικούς στις εκπαιδευτικές μετρήσεις, αναφέρουν ότι γενικά, μεγαλύτερα δοκίμια με περισσότερες ερωτήσεις δίνουν πιο αξιόπιστα αποτελέσματα. Αυτό ισχύει διότι ο βαθμός που παίρνει σε αυτά ένας/μια μαθητής/τρια πλησιάζει περισσότερο τον πραγματικό του/της βαθμό (το βαθμό που θα έπρεπε να είχε πάρει με βάση την ικανότητά του/της).  "Πολύ σύντομα δοκίμια απλά δίνουν λιγότερο αξιόπιστα αποτελέσματα" (Mehrens & Lehmann, 1991, p. 258). Επίσης, ένα εικοσάλεπτο διαγώνισμα μπορεί να περιλαμβάνει μόνο μια άσκηση, άρα και πολύ μειωμένο βαθμό αξιοπιστίας. Ακόμα όμως και στην περίπτωση που περιέχει αρκετές ερωτήσεις (ας πούμε τις μισές ενός 45λεπτου διαγωνίσματος) τότε και πάλι ο βαθμός αξιοπιστίας μειώνεται σημαντικά. Για παράδειγμα αν ο συντελεστής αξιοπιστίας ενός 45λεπτου δοκιμίου είναι 0,82 (ικανοποιητικός), του εικοσάλεπτου θα είναι γύρω στο 0,65 που είναι πάρα πολύ χαμηλός.

3. Όλοι οι εκπαιδευτικοί ακολουθούν τον ίδιο ακριβώς τρόπο αξιολόγησης.

Σε μια εποχή που μας ενδιαφέρει να αναπτύξουμε την κριτική σκέψη, την ελευθερία έκφρασης και τη δημιουργικότητα των μαθητών μας είναι το λιγότερο σχήμα οξύμωρο να περιορίζουμε με τέτοιο τρόπο τους εκπαιδευτικούς που θα βοηθήσουν τους νέους μας να αναπτύξουν τα πιο πάνω. Γίνεται δηλαδή μια ρομποτικοποίηση ή αλγοριθμοποίηση του τρόπου αξιολόγησης που όχι μόνο δε βοηθά, αλλά και μειώνει αισθητά την αξιοπιστία της όλης διαδικασίας. 

Τελειώνοντας θα ήθελα να αναφέρω ότι πρέπει οπωσδήποτε να αναθεωρηθεί ο τρόπος αξιολόγησης του μαθητή. Όπως έχει διαμορφωθεί, δεν μπορώ να μην αισθάνομαι ότι έχει γίνει πρόχειρα, από μη ειδικούς στο θέμα και με σκοπό να ικανοποιήσει ίσως κάποιες κοινωνικές ομάδες που μπορεί να νιώθουν ότι οι μαθητές μας δεν πρέπει να "κουράζονται". Επίσης θεωρώ ότι το όλο σύστημα έχει σχεδιαστεί για μικρά παιδιά της δημοτικής εκπαίδευσης και όχι για μαθητές λυκείων και αυριανών φοιτητών.

Επιφυλάσσομαι να επανέλθω με συγκεκριμένα στοιχεία. Την εκτίμηση του συντελεστή αξιοπιστίας της τελικής βαθμολογίας του Α' τετραμήνου των μαθητών σε ένα-δυό μαθήματα. Η διαδικασία είναι όμως λίγο χρονοβόρα. Αν κάποιος/α συνάδελφος ενδιαφέρεται να βοηθήσει με δεδομένα από το σχολείο του/της για πιο ακριβή εκτίμηση της αξιοπιστίας ας επικοινωνήσει μαζί μου.

Σχετική βιβλιογραφία

      Bobko, P., Roth, P. and Buster, M. (2007). The usefulness of unit weights in creating composite scores: a literature review, application to content validity, and meta-analysis. Organizational Research Methods, 10, pp. 689-709.

      Carlson, J. E. (1968). Effects of differential weighting on the reliability of essay grades (Unpublished doctoral dissertation). University of Alberta, Edmonton, Canada. (Google Scholar)

     Govindarajulu, Z. (1988). Alternative methods for combining several test scores. Educational and Psychological Measurement, 48, pp. 53-60.

     Lane, S., & Stone, C. A. (2006). Performance assessment. In R. L. Brennan (Ed.), Educational measurement ( 4th ed., pp. 387– 431). Westport, CT: American Council on Education & Praeger. (Google Scholar)

     Mehrens, W. A. & Lehmann, I. J. (1991). Measurement and Evaluation in Education and Psychology, (4^th ed.) New York: Holt, Rinehart and Winston.

    Rudner, L. (2001). Informed test component weighting. Educational Measurement: Issues and Practice, 20, pp. 16-19.

*MSc Educational Testing, PhD Educational Measurement

Μαθηματικός, ΒΔΑ' Λύκειο Αγίου Σπυρίδωνα, Λεμεσός.