Jaunu skatu sintēze ar neironu spožuma laukiem (NeRF) un difūzijas modeļiem

Abstract

Darbā ir izpētīta neironu spožuma lauku (NeRF) tehnoloģija, kā arī vairāki NeRF tehnoloģijas uzlabojumi, tajā skaitā arī tie, kas izmanto difūzijas modeļus. Darba ietvaros ir apskatītas sekojošas tehnoloģijas: NeRF, Instant-NGP, BARF, RegNeRF, NerfDiff un Make-It-3D. Darbā ietvaros tika izstrādātas reālo ainu apmācības attēlu kopas, kuriem COLMAP programmatūra nekorekti reģistrē kameru pozīcijas. Uz datu kopām ar nekorektām kameru pozīcijām, tika apmācītas BARF un Instant-NGP ainu reprezentācijas un sintezēti jauni ainu skati. Tika salīdzinātas BARF reģistrētas kameru pozīcijas ar COLMAP reģistrācijas rezultātiem. BARF skatu sintēzes rezultāti tika salīdzināti ar Instant-NGP sintēzes rezultātiem. Tika piedāvātas divas pieejas Instant-NGP uzlabojumam, pievienojot tam BARF kameru reģistrācijas konceptu.

In this work the Neural Radiance Fields (NeRF) technology is researched, as well as other improvements of the NeRF technology, including those that use diffusion models. In this work the following technologies are examined: NeRF, Instant-NGP, BARF, RegNeRF, NerfDiff and Make-It-3D. Within this work the training image sets for real scenes were created, for which the COLMAP software registers camera poses incorrectly. On the data sets with incorrect camera poses the BARF and Instant-NGP scenes representations were trained, and new views were synthesized. BARF registered camera poses were compared to the COLMAP registration results. Results of the BARF view synthesis were compared to Instant-NGP synthesis results. Two approaches were proposed for improving Instant-NGP by means of adding to it the BARF camera pose registration concept.