Ainas reprezentācija, renderēšana un atsaiste ar neironu tīkliem un DDF metodi

Abstract

Lielākā daļa mākslīgo neironu tīklu tiek apmācīti ar pārraudzīto mācīšanu, taču jebkuram intelektuālajam aģentam praktiski nav vajadzīga nekāda pārraudzība. Tā vietā ir vajadzīga spēja (1) veidot reprezentāciju, (2) zināt, kā sadalīt jēdzienos pasaules bāzes struktūru un (3) izmantot ģenerējošo spēku ir augstāk attīstīto zīdītāju izdzīvošanai nozīmīga prasme. Tādēļ ir vēlams izveidot mākslīgu sistēmu, kas spētu ģenerēt datus pati no saviem sensoriem un mācīties no tiem bez cilvēka ietekmes. Nesen tika publicēts raksts, kas iepazīstināja ar ģeneratīvo vaicājuma tīklu (GQN), kas lieto nepārraudzīto mācīšanos un spēj mācīties no datiem, ko savāc “pats pēc saviem” ieskatiem [25]. Šajā maģistra darbā autors izmanto GQN modeli un trenē to ar DeepMind datu kopu “Room Ring Camera”, un analizē rezultātus ar jaunas atsaistīšanas sistēmas palīdzību – diferencējamo atsaistīšanas filtru (DDF). Kaut gan GQN un GQN ar DDF mācīšanas process tika priekšlaicīgi pārtraukts, iegūtie rezultāti bija apmierinoši. Tika pierādīts, ka DDF spēj atsaistīt dažas GQN reprezentācijas, un tas pārspēja bāzes konfigurācijas modeļus. Par sākotnejiem rezultatiem tika sagatavota un iesniegta publikācija uz BlackBoxNLP-2019 semināru. Tomēr objektīvāka vērtējuma iegūšanai ir vajadzīga papildu apmācība. Autors arī apmācīja autoenkodera modeli ar MNIST datu kopu, kur reprezentācijas vektoru svari tiek nejauši reinicializēti katru iterāciju. Rezultātā modelis joprojām labi rekonstruē dažus ciparus. Autors uzskata, ka nejauši svari pārveido reprezentācijas vektoru uz telpu ar mazāku dimensiju skaitu un modelis iemācas dekodēt no šis telpas.

Most of the artificial neural networks are trained using supervised learning, however, any intelligent agent requires little to no supervision. Instead, ability to (1) create representation, (2) know how to separate underlying structure of the world and (3) make use of generative power is essential skill for higher mammals to survive. Therefore, it is desirable to create artificial system that would be able to generate data from its own sensors and to learn from it without any input from human. Recently was published a paper introducing Generative Query Network (GQN), which uses unsupervised learning and is able to learn from data, which is collected by “its own” observations [25]. In this Master thesis author implements GQN model and trains it on DeepMind’s dataset – “Rooms Ring Camera”, and analyzes the results using novel disentangling framework – Differentiable Disentanglement Filter (DDF). Even though training process of GQN and GQN with DDF was terminated prematurely, still reasonable results were demonstrated. DDF proved to disentangle some properties of GQN representation and it outperformed baseline models. A paper describing the preliminary results has been submitted to the BlackBoxNLP-2019 workshop. However, to give more objective view, more training is required. Author has trained also an autoencoder on MNIST dataset. Weights, which were used to obtain the bottleneck layer there were randomly reinitialized in every training iteration. Nevertheless, as a result, model learned to reconstruct images quite well. Author believes that random weight reinitialization is effectively reducing dimensionality and the model learned to decode images from this space.