Lielo valodas modeļu uzvedības pārmaiņas atkarībā no jautājumuformulējuma

Abstract

Bakalaura darbs pēta Lielo valodas modeļu (LLM) uzvedības pārmaiņas, mainoties jautājumu formulējumam, un pielietojot manipulācijas ar uzvednēm. Pētījuma ietvaros tika izvēlēti deviņi mūsdienu LLM, pārstāvot gan komerciālos, gan atvērtā koda risinājumus ar dažādu arhitektūru. Katram modelim tika uzdoti identiski jautājumi atšķirīgā formā, bet ar vienādo pareizo atbildi. Atbildes tika sistemātiski novērtētas trīs dimensijās — precizitātē, halucināciju skalā un loģiskajā konsekvencē. Eksperimenta rezultāti atklāj jaunas būtiskas likumsakarības LLM uzvedībā un norāda, kurš no populārākiem mūsdienas LLM ir uzticamākais. Konstatētā jutība pret uzvednes struktūru liecina par nepieciešamību padziļināti izpētīt LLM uzticamību mainīgos apstākļos, īpaši jautājumos, kas var tikt formulēti daudzveidīgi vai manipulējoši.

This bachelor's thesis examines the behavioral variability of Large Language Models (LLMs) in response to changes in question formulation and the application of prompt manipulation techniques. The study involved nine contemporary LLMs, representing both commercial and open-source solutions with diverse architectural foundations. Each model was presented with identical factual questions expressed in various linguistic forms but requiring the same correct answer. The responses were systematically evaluated across three dimensions: factual accuracy, hallucination presence, and logical consistency. The experimental results reveal new and significant patterns in LLM behavior and identify which of today’s most popular models demonstrates the highest reliability. The observed sensitivity to prompt structure highlights the necessity for further investigation into LLM trustworthiness in dynamic input conditions, particularly in scenarios involving diverse or manipulative formulations.