Komunikācija un tās izcelsmes iemesli mākslīgās vidēs

Abstract

Darbā tiek pētīta pašreizējā situācija mākslīgu aģentu radīšanai un to apmācīšanai efektīvi rīkoties mākslīgās vidēs, kurās ir iespējama komunikācija starp aģentiem. Tiek apskatītas populāras vides aģentu apmācībai un to snieguma novērtēšanai, tiek apzinātas vides, kurās var veikt aģentu apmācību komunicēt. Darbā aplūkoti populāri mašīnmācīšanās algoritmu aģentu apmācībai efektīvi rīkoties dažādās vidēs. Tiek īsumā pārspriests, kā nodrošināt vienkāršu komunikāciju un atmiņu aģentu arhitektūrā, kā to apmācīt. Tiek apzināti neseni komunikācijas pētījumi ar mākslīgi radītiem aģentiem un noskaidroti dažādi kvantitatīvi un kvalitatīvi rādītāji, lai varētu konstatēt lietderīgas, nelietderīgas komunikācijas rašanos. Darbā tiek reproducēts 2019. gada pavasara raksta ”On the Pitfalls of Measuring Emergent Communication”[15] rezultāts, kurā tiek novērota nelietderīgas komunikācijas rašanās aģenta arhitektūras dēļ. Darbā tiek veikti papildus eksperimenti ar izmaiņām vidē, aģentu arhitektūrā uz dažādām vides, aģentu konfigurācijām. Tiek veikta izpēte rakstā norādītājā turpmākajā pētījumu virzienā, vai, komunikācijai piemērojot papildus maksu, aģentu starpā veidojas nelietderīga komunikācija.

This work examines the current situation in artificial agent creation and in their training to effectively act in artificially created environments with communication opportunities between agents. The author looks into popular environments which are used for training and evaluating agents, specifically into the ones where communication is possible. The author describes popular machine learning algorithms that are used for training agents to effectively act in the environment and how to implement a simple communication channel between agents. The work reviews recent papers about research in artificially created agent communication. The author reviews different metrics to measure the presence of usable and nonusable communication and reproduces experiment in the paper ”On the pitfalls of Measuring Emergent Communication”[15], which observed emerging of nonusable communication caused by the architecture of agent. Experiments are reproduced with a couple of changes in communication and architecture of both agents. The author does further research to find out if applying communication cost reduces the amount of nonusable communication.