Lielo valodas modeļu lēmumu teorētiskā uzvedība Ņūkomba tipa problēmās

Abstract

Šajā darbā tika pielāgota un papildināta sistemātiska metodoloģija lielo valodas modeļu (LLM) uzvedības pētīšanai Ņūkomba tipa lēmumu problēmās – to spējas spriedumos un paustās attieksmes kauzālajā (CDT) un evidenciālājā (EDT) lēmumu teorijā. Problēmu formulējumi tiek algoritmiski variēti ar dažādām problēmu klasēm, tematikām, atlīdzību matricas struktūrām un parametrizācijām pret CDT-EDT rekomendēto rīcību preferenču pāriem. Izveidots formalizācijā balstīts eksperimentu satvars ar 64 unikālām problēmām un integrāciju ar 15 vadošiem LLM. Ievākti 5760 modeļu atbilžu dati, kas atklāj spēcīgu un statistiski nozīmīgu EDT preferenci (vidēji 84.07% EDT atbalsts, p < 0.001, Koena d = 2.95) un augstāku modeļu veiktspēju EDT jautājumos (93.8% pret 48.7% CDT). Darba galvenais pienesums ir teorētisko pamatu formalizācija, funkcionāla eksperimentālā infrastruktūra, un sākotnējie empīriskie rezultāti par fundamentālu asimetriju LLM lēmumu teorētiskajā uzvedībā, veidojot stabilu pamatu turpmākiem pētījumiem ar potenciālām implikācijām MI drošībai un sadarboties spējai.

This thesis adapts and extends a systematic methodology for evaluating large language model (LLM) behavior in Newcomblike decision problems – their capabilities in reasoning and expressed attitudes in causal (CDT) and evidential (EDT) decision theory. Problem formulations are algorithmically varied with different problem classes, thematics, payoff matrix structures and parameterizations over CDT-EDT recommended action preference pairs. An experiment framework based in formalization with 64 unique problems and integration with 15 frontier LLMs is developed. Data from 5760 model responses is collected, revealing a strong and statistically significant EDT preference (mean 84.07% EDT support, p < 0.001, Cohen’s d = 2.95) and higher model performance on EDT questions (93.8% vs 48.7% CDT). The main contribution of the thesis is the formalization of the theoretical foundations, functional experimental infrastructure, and initial empirical results on fundamental asymmetry in LLM decision-theoretic behavior, creating a stable foundation for future research with potential implications for AI safety and cooperation.