Lielo valodas modeļu salīdzināšana izmantojot mehānistisko interpretējamību

Abstract

Lielie valodas modeļi (LLM) ir demonstrējuši dažādas augsta līmeņa spējas, tomēr joprojām nav skaidrs, kā modeļi veic noteiktas darbības, kuras tie apmācības rezultātā iemācās, piemēram, nepiemērota satura kontrole un instrukciju sekošana. Tas kavē LLM attīstību un to pielietojamību kā noderīgu un uzticamu rīku. Šajā darbā tiek apskatīta mehānistiskās interpretējamības pieeja ar starpkodētājiem (crosscoders), kas ļauj salīdzināt dažādu LLM versiju veidus, iegūstot modeļu interpretējamas iezīmes. Pētot šīs iezīmes tiek gūts ieskats par pētāmo modeļu iekšējiem darbības principiem. Apskatītas Qwen2.5-0.5B un Llama3.2-1B modeļu versijas, lietoti L1 un BatchTopK starpkodētāji, un izgūtas interpretējamas iezīmes. Atslēgas vārdi: iezīmju izgūšana, lielie valodas modeļi, mehānistiskā interpretējamība, modeļu salīdzināšana, retināti autoenkoderi, starpkodētāji

Large language models (LLMs) have demonstrated a variety of capabilities, yet there is uncertainty about how features are learned during model training, such as inappropriate content control and instruction following. This hinders LLM development and its wider adoption as a useful and reliable tool. In this paper mechanistic interpretability methods with crosscoders are examined, which allow comparing different types of LLM versions, obtaining interpretable features of the models. By studying these features, insight is gained into the internal workings of the models. The Qwen2.5-0.5B and Llama3.2-1B model versions and the L1 and BatchTopK crosscoders are used, and interpretable features are extracted. Key words: crosscoders, feature extraction, large language models, mechanistic interpretability, model diffing, sparse autoencoders