Oreola efekta noteikšana C1 un C2 līmeņa studentu novērtēšanā

Abstract

Šis pētījums situāciju analīzes metodē analizēja halo efektu un vērtētāju pārliecīgu stingrību vai iecietību mutvārdu valodas vērtēšanā. Darba mērķis bija noskaidrot, vai vērtējamo familiaritāte ar vērtētāju un viņu izpratne par vērtējamo pašapziņu ietekmēja vērtētāju spriedumus. Raša vairākparametru modeļa analīze atklāja, ka nepazīstamu vērtētāju grupā bija novērojama ievērojami lielāka neobjektivitāte, un Pīrsona rezultātu korelācija atklāja, ka neobjektīvu vērtētāju spriedumiem bija cieša korelācija ar vērtējamo pašapziņas novērtējumu (r=0.8, p<0.05). Tika konstatēts, ka vērtētāja – vērtējamā attiecības neizraisīja halo efektu, bet uzlaboja vērtējuma precizitāti, kā arī vērtējamo pašapziņa ietekmēja neobjektīvos vērtētājus.

Atslēgvārdi: mutvārdu vērtējums, vērtētāju neobjektivitāte, halo efekts, stingrība un iecietība, familiaritāte, pašapziņa, MFRM.

The present case study analysed the halo effect and rater severity and leniency in the speaking assessment. It aimed to establish if rater’s ratings were influenced by the raters’ previous familiarity with the ratees and their perception of the ratees’ self-confidence. The many-facets Rasch measurement analysis found that the unfamiliar group of raters had significantly more bias in their ratings and Pearson product correlation found that the ratings of biased raters had a strong correlation with the ratees’ self-confidence marks (r=0.8, p<0.05). The study concluded that the rater x ratee familiarity did not cause halo but improved the accuracy of rating and that the ratees’ self-confidence influenced the biased raters.

Key words: speaking assessment, rater bias, the halo effect, leniency and severity, familiarity, self-confidence, MFRM.