Reālu objektu 3D rekonstruēšana ar NeRF tīkliem

Abstract

NeRF tīkli (neural radiance field) ir pilnsaistes neironu tīkls, kas spēj uzģenerēt 3D ainavu no 2D attēlu kopas. Tas spēj attēlot visu, kas redzams ievadītajos attēlos, bet nespēj nošķirt objektus no fona, kas, savukārt, ierobežo tā praktisko pielietojumu 3D lietojumprogrammās. Šī darba nolūks ir izpētīt un izprast kā strādā NeRF tīkli, lai izplānotu un izstrādātu risinājumu, kas ļautu lietotājam atdalīt fokālo objektu no fona, izmantojot segmentācijas maskas.

NeRFs (neural radiance field) are fully connected neural network, that can generate a 3D scenery from a 2D image data set. It can render anything that is visible in the images, but it has no way of telling objects apart from background, which in turn diminishes its usefulness in 3D applications. The aim of this paper is to study and understand how NeRFs work to plan out and create a solution that will help users to separate the focal object from the rest of the generated scenery with use of segmentation masks.