Διαδικτυακές εξετάσεις στα ΑΕΙ και διασφάλιση αδιάβλητου
Οι εξετάσεις που πραγματοποιούνται στα αμφιθέατρα των Ελληνικών ΑΕΙ με φυσική παρουσία συνήθως απαιτούν ένα πλήθος επιτηρητών (περίπου ένας επιτηρητής για 30-50 φοιτητές) οι οποίοι προσπαθούν να διασφαλίσουν το αδιάβλητο σε δυο κατευθύνσεις: τον έλεγχο ταυτοπροσωπίας και την αποτροπή λογοκλοπής. Παρακάτω αναλύεται κατά πόσο μπορεί αυτός ο στοιχειώδης έλεγχος να διασφαλιστεί από τις διαδικτυακές εξετάσεις στον βαθμό που αυτό γίνεται στο αμφιθέατρο.
Έλεγχος Ταυτοπροσωπίας
Με φυσική παρουσία: Ο έλεγχος ταυτοπροσωπίας προσπαθεί να εγγυηθεί ότι ο φοιτητής που παραδίδει το γραπτό είναι αυτός του οποίου τα στοιχεία αναγράφονται στο γραπτό και επίσης αυτός που έγραψε τις απαντήσεις σε αυτό. Αυτό διασφαλίζεται από το ότι ο κάθε εξεταζόμενος από την αρχή της εξέτασης μέχρι και το τέλος της, δεν αλλάζει κόλλα με κάποιον άλλο εξεταζόμενο και όταν παραδίδει την κόλλα του οι επιτηρητές ελέγχουν την φοιτητική του ταυτότητα η οποία αναγράφει τα στοιχεία του και έχει φωτογραφία του. Η ευθύνη του ελέγχου είναι στους επιτηρητές που έχουν τα μέσα να κάνουν τον έλεγχο μιας και απαιτείται απλά οπτική παρακολούθηση στο αμφιθέατρο.
Με διαδικτυακό τρόπο: Μπορεί να ζητηθεί από τους εξεταζόμενους να δείξουν την φοιτητική τους ταυτότητα σε κάποιο σημείο της εξέτασης και να προσπαθήσει ο διδάσκοντας να ελέγξει ότι όντως ο φοιτητής είναι ο ίδιος σε εκείνη την χρονική στιγμή. Δεν μπορεί να διασφαλιστεί ότι αυτός ο οποίος γράφει τις εξετάσεις είναι όντως ο φοιτητής που φαίνεται στην κάμερα μιας και οποιοσδήποτε φροντιστής ή βοηθός μπορεί να βρίσκεται στον ίδιο χώρο με τον εξεταζόμενο ή και σε διαφορετικό και να απαντάει εκ μέρους του τα θέματα με διπλές συσκευές εισόδου/εξόδου (οθόνη, πληκτρολόγιο, ποντίκι, κτλ). Οπότε ο έλεγχος ταυτοπροσωπίας δεν αφορά στην ίδια την διαδικτυακή εξέταση αλλά στο ποιος απεικονίζεται στην κάμερα.
Έλεγχος λογοκλοπής
Με φυσική παρουσία: Η βασική μέριμνα των επιτηρητών στην εξέταση με φυσική παρουσία είναι: α) να μην επικοινωνούν μεταξύ τους οι εξεταζόμενοι ώστε να διασφαλιστεί ότι δεν ανταλλάσουν απαντήσεις και δεν βοηθούν ο ένας τον άλλο και β) ότι δεν λαμβάνουν βοήθεια από εξωτερική πηγή με την μορφή γραπτών σημειώσεων (σκονάκι), άνοιγμα βιβλίου, επικοινωνία με άλλα μέσα με βοηθούς/φροντιστές έξω από το αμφιθέατρο. Τα παραπάνω διασφαλίζονται επίσης με την οπτική επιτήρηση και η ευθύνη είναι στους επιτηρητές.
Με διαδικτυακό τρόπο: Δεν υπάρχει τρόπος να ελεγχθεί ότι ο εξεταζόμενος δεν επικοινωνεί με άλλους εξεταζόμενους είτε άμεσα είτε με τεχνικά μέσα (επικοινωνία μέσω μηνυμάτων, κινητών, κτλ). Δεν υπάρχει τρόπος να ελεγχθεί ότι ο εξεταζόμενος δεν λαμβάνει βοήθεια από εξωτερικές πηγές (σημειώσεις, βιβλία, λυμένα θέματα, απαντήσεις στο διαδίκτυο, διαλογικά γλωσσικά μοντέλα) ή ότι δεν επικοινωνεί με βοηθούς/φροντιστές κ.τ.λ., με δεύτερη συσκευή.
Η χρήση εργαλείων τεχνητής νοημοσύνης (διαλογικών γλωσσικών μοντέλων όπως το ChatGPT): Ιδιαίτερη ανησυχία υπάρχει πλέον λόγω της διαθεσιμότητας διαλογικών γλωσσικών μοντέλων τα οποία είναι σε θέση να απαντούν σε θέματα όλων των γνωστικών πεδίων, οπότε δεν χρειάζεται καν η βοήθεια από φροντιστές/συμφοιτητές. Σε αυτήν την περίπτωση υπάρχουν εργαλεία που προσπαθούν να αποκλείσουν την δυνατότητα χρήσης τέτοιων μοντέλων στον υπολογιστή από τον οποίο δίνονται οι διαδικτυακές εξετάσεις. Δυστυχώς, όποιος εξεταζόμενος θέλει να χρησιμοποιήσει αυτήν την βοήθεια μπορεί να το κάνει από δεύτερη συσκευή στον χώρο εξέτασης (π.χ, κινητό, tablet, δεύτερος υπολογιστής, κτλ) και αυτό δεν μπορεί να αποτραπεί.
Η δεύτερη γραμμή αντιμετώπισης είναι να ανιχνευθεί αν όντως η απάντηση (μόνο για ανοιχτού τύπου απαντήσεις) έχει γραφτεί από φυσικό πρόσωπο ή από γλωσσικό μοντέλο. Υπάρχουν τέτοιες προσπάθειες (π.χ. ZeroGPT) αλλά δεν μπορούν να καταφέρουν πολλά γιατί τα γλωσσικά μοντέλα ανήκουν στην κατηγορία των παραγωγικών νευρωνικών δικτύων (generative neural networks) και μπορούν να παράξουν πολλές διαφορετικές παραλλαγές της κάθε απάντησης σε δευτερόλεπτα με κατάλληλη τροποποίηση του κειμένου ερώτησης (prompt engineering). Επίσης, δεν απαγορεύεται κάποιος φοιτητής να χρησιμοποιήσει στην μελέτη του διαλογικά γλωσσικά μοντέλα οπότε μπορεί να ισχυριστεί ότι έχει παρόμοια φρασεολογία γιατί τα χρησιμοποίησε στην διάρκεια της μελέτης. Γενικά, δεν μπορεί να ισχυριστεί ένας διδάσκων ότι κάποιος εξεταζόμενος έκανε λογοκλοπή επειδή κάποιο μοντέλο ΤΝ το ανίχνευσε ως λογοκλοπή. Η ανίχνευση αυτή δεν είναι επεξηγήσιμη (explainable) και δεν μπορεί να θεωρηθεί ως απόδειξη παρά μόνο ως ένδειξη λογοκλοπής που χρήζει διερεύνησης μέσω επιπρόσθετης προφορικής εξέτασης, η οποία όμως όπως τεκμηριώνεται παρακάτω είναι αδύνατον να πραγματοποιηθεί σε μεγάλα ακροατήρια.
Η χρήση εργαλείων e-Proctoring είχε ήδη εξεταστεί από την εποχή του COVID και είχε απορριφθεί για δύο λόγους. α) Λόγω της παραβίασης προσωπικών δεδομένων (το πανεπιστήμιο του Illinois σταμάτησε να χρησιμοποιεί τέτοιους είδους λογισμικό ακριβώς λόγω της παραβίασης των προσωπικών δεδομένων [1]) και β) Το κόστος ήταν και εξακολουθεί να είναι απαγορευτικό για ένα μεγάλο ίδρυμα όπως το ΑΠΘ. Παράλληλα η αποτελεσματικότητα τέτοιων εργαλείων είναι μικρή [2] (αφορούν συνήθως μόνο εξετάσεις τύπου κουίζ) και δεν μπορεί να διασφαλίσει το αδιάβλητο όπως αναλύθηκε παραπάνω. Επιπροσθέτως, σε μια σχετική έρευνα [3] από ερευνητές του πανεπιστημίου του Twente στην Ολλανδία φάνηκε η πλήρης αποτυχία τέτοιων λογισμικών στην προσπάθεια να επιτηρήσουν αυτοματοποιημένα και να διασφαλίσουν σχετική αδιαβλητότητα στις διαδικτυακές εξετάσεις.
Συμπεράσματα
Από τα παραπάνω είναι προφανές ότι οι βασικές παράμετροι επιτήρησης που τηρούνται στο αμφιθέατρο (έλεγχος ταυτοπροσωπίας καθ’ όλη την διάρκεια της εξέτασης και παράδοσης του γραπτού) καθώς και ο έλεγχος λογοκλοπής δεν μπορούν να διασφαλιστούν με τις εξ αποστάσεως διαδικτυακές εξετάσεις στον βαθμό που αυτό γίνεται στο αμφιθέατρο. Ο μόνος τρόπος να διασφαλιστεί το αδιάβλητο με διαδικτυακές εξετάσεις είναι με το να γίνουν προφορικές που θα απαιτούσε περίπου 15-20 λεπτά για κάθε εξεταζόμενο ώστε να πιστοποιηθεί σε ένα βαθμό γνώση ικανού μέρους της ύλης του εκάστοτε μαθήματος. Αυτή η λύση θα απαιτούσε περίπου 4 εργάσιμες ημέρες προφορικών εξετάσεων για κάθε 100 εξεταζόμενους σε κάθε μάθημα. Αυτό είναι πρακτικά αδύνατο για μεγάλα ακροατήρια δεδομένου ότι δεν υπάρχουν βοηθοί μαθήματος στα Ελληνικά ΑΕΙ.
Εναλλακτικά οι διδάσκοντες που χρησιμοποιούν διαδικτυακά εργαλεία εξέτασης, το κάνουν σε συνδυασμό με προφορικές, γραπτές σύγχρονες εξετάσεις που διασφαλίζουν τα παραπάνω ή το κάνουν σε μικρά ακροατήρια πού ήδη γνωρίζουν τους φοιτητές που συμμετέχουν στην εξέταση και έχουν χρησιμοποιήσει πολλαπλά μέσα εξέτασης (εργασίες, προόδους, κτλ). Δεν είναι δυνατόν αν αυτό δεν σχεδιαστεί εξ αρχής να υλοποιηθεί εν μέσω εξεταστικής με διασφάλιση του αδιάβλητου.
[1] University will stop using Proctorio remote testing after student outcry – The Verge
[2] https://www.acm.org/public-policy/ustpc/hottopics/remote-testing
[3] Bergmans, L., Bouali, N., Luttikhuis, M., & Rensink, A. (2021). On the Efficacy of Online Proctoring using Proctorio. In B. Csapó, & J. Uhomoibhi (Eds.), Proceedings of the 13th International Conference on Computer Supported Education (CSEDU 2021) (Vol. 1, pp. 279-290). SCITEPRESS. https://doi.org/10.5220/0010399602790290
Τμήμα Πληροφορικής ΑΠΘ