Trecerea de la evaluarea tradițională pe hârtie la evaluarea asistată de calculator devine tot mai prezentă pe agenda sistemelor educaționale europene. Lucrarea de față vizează modul în care evaluarea digitală diferă calitativ de evaluarea pe hârtie și implicațiile acestei diferențe. Analiza acoperă patru dimensiuni: (1) validitatea constructului și efectele modului de administrare (mode effect) documentate experimental, (2) fiabilitatea tehnică și tipurile specifice de erori ale sistemelor de evaluare digitală, (3) experiența candidaților în situații de incident tehnic și (4) pregătirea instituțională – competențe, cadre europene de referință și modele internaționale de tranziție. Concluzia conturează ideea că evaluarea digitală nu este o simplă reproducere a testării pe hârtie pe suport electronic, ci introduce riscuri și oportunități noi, care nu pot fi gestionate printr-o abordare pur tehnică sau procedurală. Decizia privind tranziția trebuie tratată simultan ca problemă de validitate a constructului, de infrastructură și de management al schimbării instituționale. Articolul situează aceste concluzii în contextul românesc, luând în considerare modelul de evaluare digitalizată adoptat de Ministerul Educației și identificând pași următori pentru o tranziție responsabilă.
Cuvinte-cheie: evaluare digitală, efect de mediu, fiabilitate tehnică, experiența candidatului, pregătire instituțională, DigCompEdu, tranziție
Abstract
The transition from traditional paper-based assessment to technology-assisted assessment is increasingly prominent on the agenda of European educational systems. This paper critically synthesises specialised literature to analyse the extent to which digital assessment is qualitatively different from paper-based assessment and what this difference means for decision-makers considering such a transition. The analysis covers four dimensions: (1) construct validity and experimentally documented mode effects, (2) technical reliability and the specific failure typologies of digital assessment systems, (3) candidate experience in technical incident situations, and (4) institutional readiness – competencies, European reference frameworks, and international transition models. The central conclusion is that digital assessment does not represent a simple reproduction of paper-based testing on an electronic medium, but introduces qualitatively new risks and opportunities that cannot be managed through a purely technical or procedural approach. The transition decision must be treated simultaneously as a construct validity, infrastructure, and institutional change management problem. The article situates these conclusions in the Romanian context, examining the digitised assessment model adopted by the Ministry of Education and identifying next steps for a responsible transition.
Keywords: digital assessment, mode effect, technical reliability, candidate experience, institutional readiness, DigCompEdu, transition
1. Introducere
Cu ritmuri și ambiții inegale, sistemele de învățământ europene se confruntă cu presiunea de a digitaliza evaluarea. Pandemia COVID-19 a accelerat această dinamică, obligând instituții care nu pregătiseră tranziția să implementeze forme de evaluare la distanță în intervale de timp extrem de scurte, cu efecte directe și documentate asupra condițiilor de examinare ale candidaților (în special privind echitatea) și cu un corpus empiric important acumulat ulterior (Cernicova-Buca & Dragomir, 2021). La nivel de politici, Planul de Acțiune pentru Educația Digitală 2021–2027 (Comisia Europeană, 2020) plasează evaluarea digitală printre prioritățile transformării ecosistemelor educaționale, iar cadrul european DigCompEdu (Redecker, 2017) rezervă competențelor de evaluare în context digital un loc central în profilul profesional al educatorului contemporan.
În discursul decizional, evaluarea digitală este frecvent conceptualizată ca o migrare a instrumentelor și procedurilor existente pe suport electronic – o transpunere fidelă, neutră, a hârtiei pe ecran. Această conceptualizare este incorectă și generează decizii slab fundamentate. Literatura de specialitate demonstrează că trecerea de la hârtie la ecran nu este neutră și de aceea nu trebuie aplicată fără o adaptare corespunzătoare. Tranziția poate modifica ce anume se măsoară, poate introduce categorii noi de risc tehnic, poate altera experiența psihologică a candidaților și poate solicita instituțiilor competențe pe care sistemele tradiționale de evaluare nu le-au dezvoltat.
Scopul prezentei lucrări este să semnaleze aceste diferențe și să ofere decidenților din educație un cadru analitic care să sprijine o decizie de tranziție informată. Metodologia adoptată este aceea a unei analize critice de literatură de specialitate relevantă, integrând studii experimentale și quasi-experimentale privind efectele de mediu ale testării computerizate, rapoarte ale organizațiilor internaționale relevante, studii de caz ale tranziției la scară națională și perspective ale practicienilor în evaluare digitală.
2. Validitatea de construct și efectul modului de administrare
Una dintre premisele implicite ale oricărei decizii de migrare la evaluarea digitală este că aplicarea aceluiași test pe hârtie și pe ecran măsoară același construct. Literatura de specialitate contestă sistematic această premisă.
Bennett (1998, 2015) identifică trei stadii în evoluția evaluării bazate pe tehnologie: reproducerea probelor convenționale pe suport digital, îmbunătățirea lor prin funcționalitățile specifice mediului digital și, în ultimă instanță, transformarea evaluării prin redesign fundamental al constructelor și al sarcinilor de lucru. Reproducerea instrumentelor convenționale de pe hârtie pe ecran este, în această taxonomie, cel mai puțin ambițios demers și în același timp cel mai riscant din perspectiva validității, deoarece testul rămâne optimizat pentru un mediu, dar este administrat în altul. Concluzia lui Bennett – că echivalența de măsurare între versiunile pe hârtie (paper test forms) și cele digitale nu poate fi asumată, ci trebuie demonstrată empiric – constituie un reper de referință în literatura de evaluare educațională.
Conceptul de „efect de mediu” (mode effect) desemnează diferențele sistematice în performanța candidaților atribuibile exclusiv suportului de prezentare a itemilor, nu nivelului real al competenței evaluate. Dovezile experimentale sunt coerente în ceea ce privește direcția efectului, deși amploarea sa variază funcție de tipul de sarcină. Støle, Mangen și Schwippert (2020), într-o cercetare cu un eșantion de 1.139 de elevi norvegieni, au demonstrat că elevii obțin, în medie, scoruri mai mici la testele de lectură administrate pe ecran față de versiunile echivalente pe hârtie. Efectul a fost cel mai pronunțat pentru sarcini care solicitau procese de înțelegere de nivel superior și pentru elevii cu performanțe ridicate – nu pentru itemii simpli de alegere multiplă. Mangen, Walgermo și Brønnick (2013) au confirmat același sens al efectului pentru lectura lineară pe ecran față de hârtie. La scară internațională, studiul PIRLS 2021 – care a inclus 26 de țări ce au migrat la forma digitală – a documentat diferențe de performanță suficient de semnificative pentru ca Statele Unite să aleagă raportarea rezultatelor pe baza scorurilor obținute pe hârtie, din considerente de comparabilitate și echitate.
O observație importantă adusă de meta-analizele pe formate de tip alegere multiplă și scală de evaluare este faptul că migrarea fidelă poate produce echivalență de măsurare acceptabilă pentru aceste tipuri de itemi. Riscul cel mai mare se concentrează la sarcinile care solicită scriere extinsă, lectură a unor texte lungi și navigare între surse multiple – exact tipurile de sarcini care evaluează competențe complexe, de nivel superior.
În consecință, o tranziție la evaluarea digitală care vizează examene cu miză mare – examene de absolvire, admitere în învățământul superior, evaluări profesionale cu consecințe în carieră – nu poate fi tratată ca un simplu transfer de format. Echivalența trebuie demonstrată printr-un studiu de calibrare sau de echivalare (bridge study) realizat înainte de generalizarea aplicării testării în format digital.
3. Fiabilitate tehnică și categorii de erori tehnice
Evaluarea digitală expune examinarea unui spectru de riscuri tehnice inexistent în testarea pe hârtie. Defecțiunile posibile includ suprasarcina serverelor, întreruperi de conectivitate, erori hardware (baterie, supraîncălzire, memorie insuficientă, incompatibilitate de driver), incompatibilități de software sau browser și vulnerabilități de securitate cibernetică. Spre deosebire de erorile de administrare din examinarea pe hârtie – rare și de regulă gestionabile local – aceste defecțiuni pot fi invizibile pentru supraveghetori, pot afecta simultan sute de candidați și pot proveni din infrastructuri complet în afara controlului instituției organizatoare.
Incidentele documentate ilustrează amploarea riscului. În octombrie 2023, Testul de Admitere în Matematică de la Universitatea Oxford (MAT), administrat pentru prima dată în format digital, a suferit întreruperi tehnice care au determinat universitatea să organizeze un test suplimentar pentru candidații afectați, acceptând implicit că rezultatele inițiale nu puteau fi utilizate (Mathematical Institute, University of Oxford, 2023). Cazul NAPLAN online din Australia (2019) a implicat aproximativ 40.000 de candidați din circa 300 de școli afectați de defecțiuni de conectivitate, justificând amânarea calendarului de generalizare națională (Janison, 2021). Aceste cazuri ilustrează un risc structural: sistemele de evaluare digitală depind de lanțuri tehnice lungi, a căror fiabilitate este condiționată de furnizori terți, infrastructuri partajate și vectori de atac cibernetic.
O categorie distinctă de risc o constituie corectarea automată (automated essay scoring, AES). Cercetările în domeniu (Powers et al., 2002) demonstrează că sistemele de corectare automată pot subevalua aspecte importante ale constructului vizat și că o convergență ridicată între scorul uman și cel automat, deși necesară, nu garantează validitatea. Această limită are implicații directe pentru contextele în care corectarea automată este prezentată public ca un câștig de obiectivitate și consistență față de evaluarea umană.
4. Experiența candidatului în evaluarea digitală
Evaluarea digitală produce o experiență subiectivă calitativ diferită față de evaluarea pe hârtie, cu efecte directe asupra echității față de candidat.
În situație de incident tehnic, candidatul din sala de examen digital se confruntă cu o sursă de stres care nu are echivalent în examinarea pe hârtie: nu poate identifica singur cauza problemei sau orizontul ei de rezolvare; nu știe dacă incidentul îi afectează pe toți candidații sau numai pe el; nu poate apela la un supraveghetor cu pregătirea necesară pentru a gestiona situații de defecțiune digitală; și riscă să interpreteze disfuncționalitatea ca pe o expresie a propriei incompetențe tehnice (Kelly, n.d.). Literatura de evaluare de urgență acumulată în contextul pandemiei COVID-19 confirmă că întreruperea tehnică în cursul examinării digitale este resimțită ca profund demoralizantă și poate altera performanța candidaților inclusiv după rezolvarea incidentului (Cernicova-Buca & Dragomir, 2021).
Dimensiunea echității merită o atenție distinctă. Studii realizate în contexte cu decalaj digital pronunțat demonstrează că familiaritatea prealabilă cu calculatorul se corelează pozitiv cu performanța la examenele computerizate, indiferent de nivelul real al competenței evaluate (Abdulkareem & Lennon, 2025). Elevii fără acces anterior la tehnologie – care provin în proporție mare din medii socioeconomice defavorizate – sunt dezavantajați de modul de administrare, indiferent de nivelul cunoștințelor lor. Acest mecanism transformă evaluarea digitală, dacă este implementată fără măsuri compensatorii explicite, într-un vector de amplificare a inegalităților educaționale preexistente.
5. Pregătire instituțională: cadre de referință și modele de tranziție
Trecerea la evaluarea digitală solicită instituțiilor un profil de competențe care depășește cu mult aria tehnică-informatică. Cadrul european DigCompEdu (Redecker, 2017) situează evaluarea între cele șase domenii de competență digitală a educatorilor (Domeniul 4: Evaluarea), cu șase niveluri de competență și cu descriptori specifici pentru evaluarea formativă digitală, analiza datelor de evaluare și feedback-ul în format digital. Instrumentul SELFIE pentru cadre didactice, dezvoltat de Comisia Europeană, operaționalizează cadrul DigCompEdu și permite autoevaluarea instituțională pe această dimensiune.
Condiția esențială pentru o tranziție reușită la evaluarea digitală nu este infrastructura tehnică, ci competența de evaluare în context digital – capacitatea cadrelor didactice și a managementului instituțiilor educaționale de a proiecta sarcini valide, de a interpreta date statistice pe teste și pe itemi și de a asigura calitatea procesului de evaluare în întreg ciclul său: proiectare, administrare, corectare și feedback.
Modelele de tranziție la scară națională furnizează lecții concrete. Finlanda a finalizat digitalizarea completă a examenului de maturitate (ylioppilastutkinto) în 2019, după un proces gradual inițiat în 2016, utilizând platforma Abitti – o soluție open-source, rezistentă la erorile de rețea (configurabilă să ruleze local, pe servere USB), cu cerințe minime de dispozitiv și cu un ciclu continuu de retroacțiune alimentat de peste două milioane de lucrări de practică pe an (Finnish Matriculation Examination Board, 2024). Australia a generalizat NAPLAN online în 2021, după o tranziție multianuală cu faze hibride și studii dedicate de echivalare, accesibilitate și efect de dispozitiv. Chiar și cu această pregătire, incidentele de conectivitate din 2019 care au afectat circa 40.000 de candidați au justificat amânarea calendarului de aplicare generalizată (Janison, 2021). Lecția comună a ambelor tranziții este că succesul a presupus ani de pilotare sistematică, asumare explicită a posibilității eșecului parțial ca sursă de date și angajament instituțional față de principiul că validitatea și echitatea față de candidat sunt non-negociabile.
6. Contextul românesc: o strategie calibrată
România se situează pe ultimul loc în Uniunea Europeană la indicatorul competențelor digitale de nivel de bază ale cetățenilor: 27,7%, față de media europeană de 55,6% (Comisia Europeană, 2024). Ministerul Educației a ales un model de digitalizare a evaluării naționale care reflectă această realitate.
Modelul de evaluare digitalizată – pilotat în 2022 în județele Călărași și Dâmbovița și generalizat pentru sesiunea de Bacalaureat din august–septembrie 2023, cu peste 33.900 de candidați – nu implică testare pe ecran. Candidații scriu în continuare pe hârtie; ceea ce s-a digitalizat este procesul de corectare: lucrările sunt scanate în sala de examen în prezența candidaților, anonimizate automat și distribuite aleatoriu evaluatorilor din alte județe, prin intermediul unei platforme tehnice realizate cu suportul Serviciului de Telecomunicații Speciale. Sistemul a fost extins la toate examenele naționale majore în 2024 (Ministerul Educației, 2023).
Această abordare este coerentă strategic, deoarece valorifică beneficiile digitalizării de după momentul susținerii examenului – reducerea subiectivității în notare, verificarea automată a aritmeticii scorurilor, analiza la nivel de item a unui corpus de circa 160.000 de lucrări, eliminarea transportului fizic al tezelor – fără a expune candidații la efectele specifice schimbării modului de administrare menționate de noi anterior și la riscurile defecțiunilor tehnice în timp real.
Concluzii
Evaluarea digitală este diferită în moduri care impun o analiză explicită și o planificare susținută înaintea oricărei decizii instituționale de tranziție. Patru concluzii sintetizează temele cele mai importante de pe agenda practică a decidenților:
(1) Echivalența de măsurare trebuie demonstrată. Orice tranziție la testarea pe ecran în examene cu miză mare trebuie precedată de un studiu de echivalare care să documenteze efectul de mediu pentru tipurile de sarcini vizate.
(2) Fiabilitatea tehnică este o problemă de sistem, nu de produs. Nicio platformă, oricât de robustă, nu elimină riscurile dacă infrastructura din jur – rețeaua locală, dispozitivele candidaților, lanțul de furnizori terți – nu este proiectată și testată ca un întreg. Sunt obligatorii scenariile pentru cazuri de defecțiune, protocoalele de suport în timp real și planurile de continuitate.
(3) Experiența candidatului afectat de o eroare tehnică în sala de examen digital diferă fundamental de cea din examinarea pe hârtie. Prezența supraveghetorului nu este suficientă dacă acesta nu are proceduri clare pentru incidentele tehnice. Spre deosebire de examinarea pe hârtie, unde erorile de administrare sunt rare și gestionabile local, o defecțiune digitală depășește competența unui supraveghetor nepregătit. Formarea specifică, protocoalele de comunicare și mecanismele de remediere sunt obligatorii.
(4) Competența instituțională esențială ține de partea pedagogică, de evaluare. Este esențială capacitatea cadrelor didactice și a liderilor instituționali de a proiecta și gestiona evaluări valide în contexte digitale, începând cu evaluarea formativă (cu rol de pregătire), iar cadrul DigCompEdu este un bun punct de plecare.
Modelele finlandez și australian demonstrează că tranziții de succes la scară națională sunt posibile, dar necesită ani de pilotare sistematică, asumare a eșecului parțial și valorificarea experiențelor ca surse de date, grefate pe un angajament constant pentru validitate și echitate.
Referințe bibliografice
Abdulkareem, Z., & Lennon, M. (2025). Impact of digital divide on students’ performance in computerised UTME in Nigeria. Information Development. https://doi.org/10.1177/02666669231191734
Bennett, R. E. (1998). Reinventing assessment: Speculations on the future of large-scale educational testing. Educational Testing Service.
Bennett, R. E. (2015). The changing nature of educational assessment. Review of Research in Education, 39(1), 370–407. https://doi.org/10.3102/0091732X14554179
Cernicova-Buca, M., & Dragomir, G.-M. (2021). Romanian students’ appraisal of the emergency remote assessment due to the COVID-19 pandemic. Sustainability, 13(11), 6110. https://doi.org/10.3390/su13116110
Comisia Europeană. (2020). Planul de acțiune pentru educația digitală 2021–2027: Reinventarea educației și formării pentru era digitală (COM/2020/624). https://eur-lex.europa.eu/legal-content/RO/TXT/?uri=CELEX:52020DC0624
Comisia Europeană. (2024). Raportul de țară privind Deceniul Digital 2024: România. Oficiul pentru Publicații al Uniunii Europene. https://digital-strategy.ec.europa.eu/ro/factpages/romania-2024-digital-decade-country-report
Finnish Matriculation Examination Board [Ylioppilastutkintolautakunta]. (2024). Digital test environment – Abitti. https://www.ylioppilastutkinto.fi/en/matriculation-examination/digital-test-environment
Fluck, A. E. (2019). An international review of eExam technologies and impact. Computers & Education, 132, 1–15. https://doi.org/10.1016/j.compedu.2018.12.008
Janison. (2021). Digitising NAPLAN: Transforming Australia’s national assessment program. https://www.janison.com/customer-stories/naplan-online/
Kelly, M. (f.d.). How the reliability of assessments drives candidate experience. RM Assessment Blog. https://www.rm.com/assessment/blog/reliability-of-assessments
Mangen, A., Walgermo, B. R., & Brønnick, K. (2013). Reading linear texts on paper versus computer screen: Effects on reading comprehension. International Journal of Educational Research, 58, 61–68. https://doi.org/10.1016/j.ijer.2012.12.002
Mathematical Institute, University of Oxford. (2023). Maths Admissions Test. https://www.maths.ox.ac.uk/study-here/undergraduate-study/maths-admissions-test
Ministerul Educației. (2023). Evaluare digitalizată la nivel național a probelor scrise din cadrul examenului de bacalaureat. https://www.edu.ro/comunicat_presa_71_evaluare_digitalizata_sesiune_august_bacalaureat_2023
Powers, D. E., Burstein, J. C., Chodorow, M., Fowles, M. E., & Kukich, K. (2002). Stumping e-rater: Challenging the validity of automated essay scoring (ETS Research Report Series RR-02-16). Educational Testing Service. https://www.ets.org/Media/Research/pdf/RR-01-03-Powers.pdf
Redecker, C. (2017). European Framework for the Digital Competence of Educators: DigCompEdu (JRC Science for Policy Report EUR 28775 EN). Publications Office of the European Union. https://doi.org/10.2760/159770
Støle, H., Mangen, A., & Schwippert, K. (2020). Assessing children’s reading comprehension on paper and screen: A mode-effect study. Computers & Education, 151, 103861. https://doi.org/10.1016/j.compedu.2020.103861
