GPT vaicājumi par temporāliem datiem, izmantojot ontoloģiju

Abstract

Maģistra darbs pēta ilgtermiņa atmiņas integrācijas iespējas Lielajos Valodas Modeļos. Šie modeļi ir spējīgi ar īstermiņa atmiņu (attention window) un vispārējām pasaules zināšanām (iekš modeļa svariem), taču tie ir ierobežoti ar strukturētu faktu atcerēšanos un atsaukšanu, īpaši šaurākos domēnos. Uzmanības centrā ir Grafu Atsaukšanas Papildināta Ģenerēšana (Graph RAG). Tas ir uzlabojums pār parasto RAG, jo zināšanas tiek strukturētas grafā. Taču, pilnvērtīgiem struktūras ieguvumiem, bez grafa vajadzīga arī ontoloģija. Darba mērķis ir izstrādāt Ontoloģijā bāzētu Grafu RAG, uz TextWorld kā datu piemēra; no spēles novērojumiem, līdz strukturētu vaicājumu veikšanai pār visu apstrādāto spēļu kopumu. Rezultātā iegūts metodes apraksts Ontoloģijā bāzētu Grafu RAG veidošanai, un veiksmīgi demonstrēts uz TextWorld piemēra.

This master's thesis explores long-term memory in Large Language Models. These models are adept at short-term memory (attention window) and general world knowledge (embedded within model weights), but they are limited in memorising and retrieving structured facts, particularly in specialized domains. The focus is on Graph Retrieval-Augmented Generation (Graph RAG), an improvement over classical RAG by utilising graphs for structure. However, for the full benefits of structure, an ontology is needed alongside the graph. The aim of the thesis is to develop an Ontology-based Graph RAG using TextWorld as data example; from game observations to conducting structured queries across the entire set of processed games. The outcome is a detailed methodology for creating Ontology-based Graph RAG, successfully demonstrated on the TextWorld example.