Εξεταστική στροφή: πίσω από τον αλγόριθμο που προκάλεσε χάος στους βαθμούς Α επιπέδου
«Οι σπόροι της πολιτικής καταστροφής» σπάρθηκαν στην επιστολή που έστειλε ο Γκάβιν Γουίλιαμσον καθώς ανακοινώθηκε το lockdown τον Μάρτιο
«Οι σπόροι της πολιτικής καταστροφής» σπάρθηκαν στην επιστολή που έστειλε ο Γκάβιν Γουίλιαμσον καθώς ανακοινώθηκε το lockdown τον Μάρτιο
Chris J Ratcliffe/Getty Images
Καθώς ο θυμός ξέσπασε μετά την απελευθέρωση των βαθμών Α επιπέδου την περασμένη εβδομάδα, ο πρωθυπουργός Μπόρις Τζόνσον επέμεινε ότι τα αποτελέσματα ήταν ισχυρά, καλά και αξιόπιστα για τους εργοδότες.
Αλλά λίγες μέρες αργότερα, μετά την ξαφνική απόσυρση από τον Ofqual των κριτηρίων για προσφυγές στους βαθμούς, η κυβέρνηση αναγκάστηκε σε μια ενοχλητική στροφή, με τα αποτελέσματα να βασίζονται πλέον στις προβλέψεις των δασκάλων και όχι σε αυτά ενός αμφιλεγόμενου αλγόριθμου.
Το αυτοματοποιημένο σύστημα χρησιμοποιήθηκε σε μια προσπάθεια να αποφευχθεί αυτό που ο υπουργός Παιδείας Γκάβιν Γουίλιαμσον περιέγραψε ως αχαλίνωτο πληθωρισμό βαθμών εν μέσω της πανδημίας του κορωνοϊού και των ακυρωμένων εξετάσεων. Αλλά ποιος βρήκε τον αλγόριθμο, ο οποίος θα μπορούσε να κοστίσει στον Williamson τη δουλειά του στο υπουργικό συμβούλιο;
Πρωτοφανείς συνθήκες
Οι σπόροι της καταστροφής της πολιτικής σπάρθηκαν την ημέρα που τέθηκε σε ισχύ το lockdown, όταν ο Williamson προειδοποίησε σε επιστολή του προς τον Ofqual ότι η αποφυγή του βαθμού πληθωρισμού ήταν προτεραιότητα, Οι καιροί Αναφορές.
Η Ofqual θα πρέπει να διασφαλίσει, όσο είναι δυνατόν, ότι τα πρότυπα προσόντων διατηρούνται και η κατανομή των βαθμών ακολουθεί παρόμοιο προφίλ με αυτό των προηγούμενων ετών, είπε ο Williamson στη ρυθμιστική αρχή των εξετάσεων.
Με άλλα λόγια, αναφέρει η εφημερίδα, παρά το γεγονός ότι οι μαθητές δεν θα έδιναν εξετάσεις, η κυβέρνηση ήθελε να αντιμετωπίσει την τάξη του 2020 όπως των προηγούμενων ετών. Τα επίπεδα Α αντιμετωπίζονταν ως το «χρυσό πρότυπο» του εκπαιδευτικού συστήματος και δεν έπρεπε να υποτιμηθούν.
Αλλά αναθέτοντας στη ρυθμιστική αρχή των εξετάσεων να συνάψει ένα ασφαλιστήριο συμβόλαιο με τη μορφή του άτυχου αλγορίθμου της, αυτή η επιθυμία να περιοριστεί ο πληθωρισμός πήγε πολύ μακριά, προσθέτει η BBC .
Τι πήγε στραβά?
Μετά από αίτημα του γραμματέα εκπαίδευσης, οι στατιστικολόγοι της ρυθμιστικής αρχής ξεκίνησανεπινοώντας ένα σύστημα για τη διανομή βαθμώνπου δεν επέτρεψε να αυξηθούν τα αποτελέσματα των εξετάσεων από τα προηγούμενα χρόνια, εξηγεί η Jo-Anne Baird, καθηγήτρια εκπαιδευτικής αξιολόγησης στο Πανεπιστήμιο της Οξφόρδης και μέλος της συμβουλευτικής επιτροπής του Ofqual.
Το πρόβλημα ήταν ότι στην περίπτωση της κατηγορίας του Covid, η ενασχόληση με τη διατήρηση των προτύπων είχε πολύ υψηλό τίμημα, σύμφωνα με το BBC.
Συνολικά Το 39% των αποτελεσμάτων επιπέδου Α που δημοσιεύθηκαν την περασμένη Πέμπτη υποβαθμίστηκαν , και οι μαθητές σε μειονεκτούσες περιοχές επλήγησαν δυσανάλογα περισσότερο, λέει NS Tech , ένα τμήμα του New Statesman.
Ο αλγόριθμος προέβλεψε βαθμούς αφού τροφοδοτήθηκε με διάφορα bits δεδομένων.
Ο πρώτος ήταν ο προβλεπόμενος βαθμός του δασκάλου για κάθε μαθητή με βάση τις επιδόσεις του στην τάξη και τις εικονικές εξετάσεις, εξηγεί ο ιστότοπος ειδήσεων. Αλλά αυτό κρίθηκε ανεπαρκές από μόνο του, επομένως ζητήθηκε από τους καθηγητές να κατατάξουν κάθε μαθητή από την υψηλότερη στη χαμηλότερη ως προς τον αναμενόμενο βαθμό τους.
Τα σχολεία μπήκαν στο έργο της αξιολόγησης, προσθέτουν οι Times, με τους επικεφαλής των τμημάτων να ηγούνται των συναντήσεων όπου οι δάσκαλοι υποστήριζαν την υπόθεση για τους μαθητές τους.
Αλλά, λέει η εφημερίδα, υπήρχε μια δέσμευση στο σύστημα Ofqual. ΕΝΑ κανω ΑΝΑΦΟΡΑ που κυκλοφόρησε από τη ρυθμιστική αρχή την περασμένη εβδομάδα αποκάλυψε ότι οι βαθμοί που ορίστηκαν από τους δασκάλους είχαν προτεραιότητα μόνο σε τάξεις με λιγότερους από 15 μαθητές - ένα σύστημα που ευνοούσε τα ιδιωτικά σχολεία με μικρότερα μεγέθη τάξεων.
Αντίθετα, για τους μαθητές των μεγαλύτερων σχολείων, οι βαθμοί επηρεάστηκαν πολύ περισσότερο από τις ιστορικές επιδόσεις του σχολείου και την κατάταξη του δασκάλου τους από τους προβλεπόμενους βαθμούς τους, προσθέτει η NS Tech.
Αυτή η απόκλιση ευθύνεται για τον δυσανάλογο αριθμό μαθητών από σχολεία που συνήθως δεν στέλνουν μαθητές στα κορυφαία πανεπιστήμια του Ηνωμένου Βασιλείου που είδαν τους προβλεπόμενους βαθμούς τους να υποβαθμίζονται επιθετικά.
Ήταν δυνατό ένα πιο δίκαιο σύστημα;
Σύμφωνα με Οι καιροί Ο επιστημονικός συντάκτης Tom Whipple, το να φτιάξεις έναν δίκαιο αλγόριθμο είναι σαν να προσπαθείς να ξεβράσεις ένα αυγό - δηλαδή, αδύνατο.
Το πρόβλημα, γράφει ο Whipple, είναι ότι όταν οι άνθρωποι κάνουν παρέκταση από δεδομένα πληθυσμού για να κάνουν προβλέψεις για άτομα... μπορεί να καταλήξεις να κάνεις κάθε είδους αντιδιαισθητικά, εκπληκτικά και μερικές φορές παράλογα λάθη.
Αυτό είναι που πήγε στραβά με έναν αλγόριθμο που βασίζεται τόσο σε μεγάλο βαθμό στα ιστορικά αποτελέσματα ενός σχολείου, υποστηρίζει. Σαφώς, αυτό θα είναι άδικο για τα εξαιρετικά παιδιά σε μη εξαίρετα σχολεία, ενώ αντιστρόφως θα είναι υπερβολικά ευγενικό με τα μη εξαιρετά στα εξαιρετικά σχολεία.
Ο Sam Freedman, Διευθύνων Σύμβουλος της μη κυβερνητικής οργάνωσης Education Partnerships Group, συμφωνεί με αυτήν την ετυμηγορία. Ο αλγόριθμος αναπόφευκτα επρόκειτο να χτυπήσει ακραίους μαθητές που ήταν στην κορυφή της κατανομής σε σχολεία που δεν είχαν πολλές υψηλές επιδόσεις στο παρελθόν. tweets .
Αλλά, προσθέτει ο Freedman, η απόφαση της κυβέρνησης να χρησιμοποιεί μόνο τους προβλεπόμενους βαθμούς των δασκάλων είναι επίσης άδικη για τους μαθητές σχολείων που βαθμολογούν προσεκτικά, άδικη για τις προηγούμενες/μελλοντικές κοόρτες και δημιουργεί[d] μια λαχειοφόρο αγορά για πανεπιστημιακές θέσεις.
Και η στροφή μπορεί να έρθει πολύ αργά για ορισμένους φοιτητές, με πολλά πανεπιστήμια να λένε ότι τα μαθήματα για το επόμενο ακαδημαϊκό έτος είναι ήδη γεμάτα.
Όσον αφορά τον αλγόριθμο, οι στατιστικές είναι εξ ορισμού ένας τρόπος αναπαράστασης πολλών αριθμών σε λιγότερους αριθμούς, λέει ο Whipple.
Αυτό είναι εξαιρετικά χρήσιμο, αλλά πρέπει να ξέρουμε τι σημαίνει: να ξεχνάμε το άτομο.
