Automatizēts valodas modeļu spēju novērtējums Bash skriptu ģenerēšanai

Abstract

Bakalaura darbā tika novērtētas lielo valodas modeļu spējas praktisku Bash programmēšanas uzdevumu risināšanā. Lai to paveiktu, ir izstrādāta infrastruktūra automātiskai skriptu ģenerēšanai un testēšanai virtualizētā operētājsistēmā. Pētījumā tika izmantota 48 uzdevumu (ar vairākiem testa gadījumiem) kopa, kas ietver uzdevumus dažādās pielietojuma kategorijās un sarežģītībās līmeņos. Tika pārbaudīti 7 dažādi lielie valodas modeļi un dažādas to hiperparametru kombinācijas. Balstoties uz iegūtajiem datiem, tika noskaidrots, ka mūsdienu lielie valodas modeļi ir efektīvi pielietojami vienkāršu līdz vidējas sarežģītības praktiska pielietojuma Bash uzdevumu risināšanai dažādās jomās. Tika identificēts, ka labākie Bash kodam ir lielie modeļi (pēc parametru skaita), kā arī izdarīti vairāki citi secinājumi.

The bachelor's thesis evaluated the capabilities of large language models in solving practical Bash programming tasks. To accomplish this, an infrastructure was developed for the automatic generation and testing of scripts in a virtualized operating system. The study used a set of 48 problems (with multiple test cases), covering tasks from various application categories and complexity levels. Seven different large language models and their various hyperparameterizations were tested. Based on the obtained data, it was discovered that modern large language models are capable of effectivelly solving easy to medium difficulty practically applicable Bash tasks in various categories of application. It was also determined that the best models for Bash are large (in terms of parameter count) and various other conclusions were made.