Tērzēšanas robotu efektivitāte dažādas grūtības programmēšanas uzdevumos

Abstract

Bakalaura darbs ir turpinājums autora kursa darbam un tā mērķis ir precīzāk noskaidrot mākslīgā intelekta jeb tērzēšanas robotu spējas un efektivitāti, pildot dažādas grūtības pakāpes programmēšanas uzdevumus un izmantojot iegūtos datus tos analizēt un salīdzināt, lai identificēt viņu stiprās puses, vājās puses, kurš no tiem ir labāks pildot uzdevumus, kuram ir vidēji ātrākais pirmās atbildes ātrums, kuram ir ātrākais koda izpildes laiks, kuram ir efektīvākais atmiņas pielietojums un noskaidrot to ietekmi uz programmētāja profesiju. Darbā tiek apskatīti seši tērzēšanas roboti – ChatGPT 4, ChatGPT 3.5, Google Gemini, Microsoft Copilot, GitHub Copilot Chat un Meta Code LlaMA (70b-instruct) – tiek apskatīti arī to lielie valodas modeļi Gemini, Generative Pre-trained Transformer 4 (GPT-4), GPT-3.5 un Code Llama. Tiek izmantoti programmēšanas uzdeuvmi no autora kursa darba, bet papildināti ar vēl vairāk uzdevumiem no programmēšanas uzdevumu platformām Codewars un Leetcode. Uzdevumi attiecīgi tiek vienādā formātā pasniegti visiem sešiem tērzēšanas robotiem un tiek iegūts rezultāts – precīzs vai neprecīzs risinājums. Izmantojot papildus datus no abām platformām tiek salīdzināts koda izpildes ātrums un atmiņas pielietojums. Papildus tiek arī veikts mērījums uz pirmās atbildes saņemšanu, lai noskaidrot kurš sniegs precīzāko risinājumu visātrāk. Darba beigās tiek analizēti un salīdzināti katra tērzēšanas robota rezultāti ar visiem papildus datiem, tiek noskaidrotas tērzēšanas robotu stiprās un vājas puses un izvirzīti daži no tiem kā labākie noteiktajām prasībām, kā arī veikti secinājumi par esošo situāciju un iespējamo nākotni programmētāja profesijas ietvaros. Bakalaura darbs ir uzrakstīts latviešu valodā, satur sešas tabulas, 14 grafikus un trīs attēlus. Darba apjoms ir 61 lappuse un darba izstrādei tika izmantoti 28 literatūras avoti.

The bachelor's thesis is a continuation of the author's course work, and its purpose is to more precisely determine the abilities and efficiency of artificial intelligence, more precise - chatbots, in performing programming tasks of various difficulty levels and using the obtained data to analyze and compare them, in order to identify their strengths and weaknesses, which of them is better at completing tasks, which has the fastest average first response time, which has the fastest code execution time, which has the most efficient memory usage, and to determine its impact on the programmer profession. In the thesis, six chatbots are examined – ChatGPT 4, ChatGPT 3.5, Google Gemini, Microsoft Copilot, GitHub Copilot Chat, and Meta Code LlaMA (70b-instruct) – and their large language models, Gemini, Generative Pre-trained Transformer 4 (GPT-4), GPT-3.5, and Code Llama are also examined. The programming tasks used are the same as those from the author's course work but supplemented with more tasks from programming challenge platforms Codewars and Leetcode. Tasks are presented in the same format to all six chatbots and the results are obtained – either a precise or imprecise solution. Using additional data from both platforms - code execution speed and memory usage are compared. Additionally, a measurement is taken on the receipt of the first response to determine who will provide the most accurate solution the fastest. At the end of the thesis, the results of each chatbot are analyzed and compared with all additional data, the strengths and weaknesses of the chatbots are identified, and some are identified as the best for certain requirements, and conclusions are drawn about the current situation and possible future within the programmer profession. The bachelor thesis is written in Latvian, contains six tables, 14 graphs and three pictures. The volume of the thesis is 61 pages and 28 literature sources were used for the development of the thesis.