Vērtētāju loma mutvārdu valodas vērtēšanas kvalitātes nodrošināšanā

Abstract

Mutvārdu valodas vērtēšana ir sarežģīts jautājums tās īpašo iezīmju dēļ un daudzo elementu jeb parametru dēļ, kas ir iesaistīti vērtēšanas procesā. Viens no šādiem parametriem ir vērtētāji, kuri, kā zināms, runāšanas prasmes vērtē subjektīvi, un to vērtējumi ir mainīgi. Šī pētījuma mērķis bija izpētīt vērtētāju lomu kvalitatīva mutvārdu valodas vertējuma nodrošināšanā. Lai sasniegtu darba mērķi, tika izmantotas gan kvantitatīvas, gan kvalitatīvas pētījumu metodes. Rezultāti rāda, ka pat pēc apmācībām vērtējumu mainīgums starp vērtētājiem pastāv, taču ir instrumenti, kas ļauj to identificēt un samazināt. Šos instrumentus piedāvā Raša vairākparametru modelis, ar kura palīdzību ir iespējams arī kompensēt vērtētāju pārliecīgu stingrību vai iecietību.

Atslēgas vārdi: mutvārdu valoda, mutvārdu valodas vērtēšana, vērtētāji, vērtētāju apmācības, vērtētāju mainīgums, Raša vairākparamertu modeli.

Assessment of speaking is a complex issue due to the distinctive features of spoken language and many elements or facets involved it the testing process. One of such facets is raters who are known to be subjective and show variability when rating speaking skills. The aim of the present research was to investigate the raters’ role in ensuring qualitative spoken language assessment. Both quantitative and qualitative methods were employed to reach the aim of the thesis. The results show that even after training the variability among raters exists, but there are tools that allow to identify and decrease it. These tools are provided by multi-faceted Rasch model that can also help to compensate for excessive rater severity or leniency.

Key words: spoken language, spoken language testing, raters, rater training, rater variability, multi-faceted Rasch model.