LLM semantiskās spriešanas ietvars

Abstract

Neraugoties uz LLM panākumiem, šādi modeļi ir pierādījuši, ka tiem trūkst faktoloģisko zināšanu un spriešanas spēju. Tāpēc šie modeļi nevar būt uzticami dažos kritiskos nozares scenārijos, piemēram, medicīniskajā aprūpē vai kodolspēkstacijās. Tas kļūst vēl acīmredzamāks dažās specifiskās jomās, kuru zināšanu dati netika izmantoti modeļa apmācības posmā. Vēl viena būtiska problēma, kas saistīta ar LLM pašreizējo stāvokli, ir tā, ka tajos ietvertās zināšanas nevar viegli atjaunināt. LLM var smalki noregulēt (fine tune), bet tas ir ietilpīgs process. Retrieval Augmented Generation (RAG) ir daudzsološs risinājums, lai risinātu LLM problēmas, piemēram, halucinācijas, novecojušas zināšanas un nepārredzamus, neizsekojamus spriešanas procesus. Dati tiek glabāti ārējā resursā - vektoru datu bāzē vai zināšanu grafā. Pirmā ir pārāk “plakana” struktūra, un, veicot meklēšanu, tā var saturēt nebūtisku informāciju, bet otrajai var būt nepieciešamas jaunas idejas tās implementācijai. Pēc autora domām, ir nepieciešama jauna atmiņas struktūra, kas nav esošās, iepriekš minētās tehnoloģijas - tagad ar LLM ir iespēja izmantot cilvēka valodu, lai sniegtu norādījumus par spriešanu, atmiņas izmantošanu utt. Šī darba mērķis ir risināt problēmas ar LLM un RAG argumentācijas iespēju un faktoloģiskās ticamības trūkumu, ieviešot jaunu pieeju zināšanu organizēšanā un operācijās ar šīm zināšanām. Vēl ir daudz darāmā, lai veiktu pētījumus par šo tēmu, uz ko norādīja autors. Tomēr šeit aprakstītā sistēma var būt labs sākumpunkts, lai virzītos vispārējā mākslīgā intelekta (AGI) virzienā.

Despite the success of the LLMs, such models have shown their lack of factual knowledge and reasoning capabilities. Therefore, these models cannot be reliable in some critical industry scenarios, such as medical care or nuclear power plants, for instance. This becomes even more obvious in some specific domains, knowledge data of which were not used during the training phase of a model. Another major issue with the current state of the LLMs is that the knowledge in it cannot be updated easily – it must be fine-tuned. Retrieval Augmented Generation (RAG) is a promising solution to deal with issues of LLMs, such as hallucination, outdated knowledge, and nontransparent, untraceable reasoning processes. Data is being stored in external resource, whether in vector data base or in knowledge graph. The former is too “flat” of a structure and may content irrelevant information during retrieval and the latter may need new implementation ideas. In author’s opinion, there is a need for a new memory structure, other than existing, above-mentioned technologies – now with LLMs there is a possibility to use human language to provide instructions for reasoning, memory usage etc. This work aims to address issues with the lack of reasoning capabilities and factual reliability of LLMs and RAG by introducing novel approach in organizing knowledge and operations with this knowledge. There is still a lot to be done in terms of a research on the given topic, which author pointed out. However, the framework described here can be a good starting point to move in a direction towards General Artificial Intelligence (AGI).