Ilgtermiņa atmiņas realizācija virtuālajos aģentos, kas veidoti ar lielajiem valodas modeļiem

Abstract

Bakalaura darbā aprakstītas un izstrādātas metodes ilgtermiņa atmiņas realizācijai virtuālajos aģentos izmantojot OpenAI lielos valodas modeļus gpt-3.5-turbo, gpt-4 un text-davinci-003. Ir apskatīta literatūra konteksta limitu, modeļa optimizācijai ilgtermiņu sarunu veikšanai un uzlabotas rīcības risinājumiem. Tiek izstrādāta metodoloģija un datu kopa, lai vērtētu aģenta spēju atcerēties sarunās doto informāciju. Ir praktiski realizēta sistēma, kas lieto vektoru datubāzi sarunu datu uzglabāšanai četrās dažādās sarunu datu saglabāšanas formās. Tiek pētīta to ietekme uz atbilžu korektumu, kā arī virtuālā aģenta spēja datus apstrādāt un atlasīt - ar tā paša ģenerētu vaicājumu atkarībā no sarunas konteksta. Atmiņu atlasīšanu un apstrādi ar augstāko precizitāti sasniedz gpt-4 modelis, ar augstāko rezultātu individuālu ziņu (93%) un ziņu grupu (90%) saglabāšanos formātos.

The bachelor thesis describes and develops methods for the implementation of long-term memory in virtual agents using the OpenAI large language models gpt-3.5-turbo, gpt-4 and text-davinci-003. A literature review is conducted for context limit solutions, model optimization for long-term conversations, and advanced action solutions. A methodology and data set is developed to evaluate the agent's ability to recall information given in conversations. A system has been implemented that uses a vector database to store conversation data in four different formats. Their influence on the correctness of answers is studied, as well as the virtual agent's ability to process and select data - with a query generated by it, depending on the context of the conversation. The selection and processing of memories with the highest accuracy is performed by the gpt-4 model, with the highest results in the preservation of individual messages (93%) and groups of messages (90%).