Trīsdimensionālas telpas semantiska segmentēšana ar patvaļīga teksta veicājumiem, izmantojot NeRF tīklus

Abstract

Bakalaura darbs izstrādāts robotikas projekta 3D objektu segmentēšanai ietvaros. Izveidots kods NeRF neironu tīklu programmēšanai. Veikti vairāki eksperimenti ar attēlu semantisko segmentēšanu, t.i., risināta problēma, kā attēlos identificēt objektus, izmantojot patvaļīga teksta vaicājumus (ang. open-set text queries). Darba ietvaros aplūkoti risinājumi gan ar attēla pikseļu reprezentācijas vektoru (ang. pixel embeddings) izmantošanu, gan bez. Pikseļu vektoru izgūšanai realizēta un analizēta gan viena iepriekš eksistējoša metode šīs problēmas risināšanai, gan arī piedāvāts jauns, labāks risinājums.The bachelor's thesis has been created as part of a robotics project for 3D object segmentation. A framework was created that aids in NeRF neural network programming. Multiple experiments were conducted for the problem of open-set image segmentation. Segmentation experiments were conducted both using pixel embeddings and object type heatmaps. An existsing method for pixel-embedding creation was reimplemented, as well as a novel method was proposed and tested.